数据质量

正式的数据质量管理类似于其他产品领域的持续质量管理，包括在整个生命周期制定标准，在数据创建、转换和存储过程中完善质量，以及根据标准度量数据来管理数据。将数据管理到这样的水平通常需要有数据质量团队。数据质量团队负责与业务和技术数据管理专业人员协作，并推动将质量管理技能应用于数据工作，以确保数据适用于各种需求。该团队可能会参与一系列项目，通过这些项目建立流程和最佳实践，同时解决高优先级的数据问题。

业务驱动因素

建立正式数据质量管理的业务驱动因素包括：

• 提高组织数据价值和数据利用的机会。
• 降低低质量数据导致的风险和成本。
• 提高组织效率和生产力。
• 保护和提高组织的声誉。

高质量数据本身并不是目的，它只是组织成功的一种手段。值得信赖的数据不仅降低了风险，而且降低了成本，提高了效率。当员工使用可靠的数据时，他们可以更快、更一致地回答问题。如果数据是正确的，他们能花更少的时间发现问题，而将更多的时间用于使用数据来获得洞察力、做决策和服务客户。

目标和原则

数据质量管理专注于以下目标：

• 根据数据消费者的需求，开发一种受管理的方法，使数据适合要求。
• 定义数据质量控制的标准和规范，并作为整个数据生命周期的一部分。
• 定义和实施测量、监控和报告数据质量水平的过程。
• 根据数据消费者要求，通过改变流程和系统，以及参与可显著改善数据质量的活动，识别和倡导提高数据质量的机会。

数据质量管理应遵循以下原则：

• 重要数据优先管理：数据质量管理应关注对企业及其客户最重要的数据，改进的优先顺序应根据数据的重要性以及数据不正确时的风险水平来判定。
• 全生命周期管理：数据质量管理应覆盖从创建或采购直至处置的整个数据全生命周期，包括其在系统内部和系统之间流转时的数据管理。
• 预防为主：数据质量方案的重点应放在预防数据错误和降低数据可用性等情形，不应放在简单的纠正记录上。
• 根因修正：提高数据质量不只是纠正错误，因为数据质量问题通常与流程或系统设计有关，所以提高数据质量通常需要对流程和支持它们的系统进行更改，而不仅仅是从表象来理解和解决。
• 治理支持：高质量数据的开发必须有治理活动的支持和保障，数据质量规划活动必须支持和维持受治理的数据环境。
• 标准驱动：数据生命周期中的所有利益相关方都会有数据质量要求。在可能的情况下，对于可量化的数据质量需求应该以可测量的标准和期望的形式来定义。
• 客观测量和透明度：数据质量水平需要得到客观、一致的测量。测量过程和测量方法应该与利益相关方一同讨论与分享，因为他们是质量的裁决者。
• 嵌入业务流程：业务流程所有者对通过其流程生成的数据质量负责，他们必须在其流程中实施数据质量标准。
• 系统强制执行：系统所有者必须让系统地强制执行数据质量要求。
• 与服务水平关联：数据质量报告和问题管理应纳入服务水平协议（SLA）。

基本概念

• 数据质量
• 关键数据
• 数据质量维度
• 数据质量和元数据
• 数据质量ISO标准
• 数据质量改进生命周期
• 数据质量业务规则类型
• 数据质量问题的常见原因
• 数据剖析
• 数据清理
• 数据增强
• 数据解析和格式化
• 数据转换与标准化

管理活动

1. 定义高质量数据
2. 定义数据质量战略
3. 识别关键数据和业务规则
4. 执行初始数据质量评估
5. 识别改进方向并排定优先顺序
6. 定义数据质量改进目标
7. 开发和部署数据质量操作

工具和方法

数据质量管理的工具

• 数据剖析工具
• 数据查询工具
• 建模和ETL工具
• 数据质量规则模板
• 元数据存储库

数据质量管理的方法

• 预防措施
• 纠正措施
• 质量检查和审核代码模块
• 有效的数据质量指标
• 统计过程控制
• 根本原因分析

实践指南

即使数据质量改进工作是从数据治理计划中展开，并得到高级管理层的支持，提高组织内的数据质量也不是一项简单的任务。一个经典的学术讨论是，自上而下还是自下而上地实施数据质量更好。通常情况下，混合方法最有效——自上而下持续地提供支持和资源，自下而上地发现实际存在的问题并逐步解决掉。通常我们开展数据质量管理需要解决两方面问题

• 就绪评估/风险评估：就绪评估的结果将有助于确定从何处开始以及如何快速进行，也可为实现路线图计划目标打下基础。如果数据质量改进获得强有力的高层支持，并且组织了解自己的数据，那么就可能启动一个完整的战略计划。如果组织不了解其数据的实际状态，那么在制定完整的战略之前，可能需要先集中精力构建这些知识。
• 组织与文化变革：数据质量不是通过一些工具和概念就会得到改进，而是通过转换员工和利益相关方的思维观念，同时始终考虑数据质量要配合业务与客户需求进行改进。让一个组织认真对待数据质量，通常需要进行重大的文化变革。这种变革需要领导者的远见和领导力。

数据质量的治理

数据质量工作是整个组织数据治理计划的组成部分时效果最好。通常，数据质量问题也是建设企业范围数据治理的原因。将数据质量工作纳入整体治理工作，使数据质量方案团队能够与一系列利益相关方和推动者合作。数据质量相关的治理工作主要包括如下两个方面：

• 制定数据质量制度：数据质量工作应有匹配的数据治理制度的支持。
• 制定管理度量指标：除了针对数据质量的初级指标，针对数据质量管理的高阶指标包括：
  • 投资回报
  • 质量水平
  • 数据质量趋势
  • 数据问题管理指标
  • 服务水平的一致性
  • 数据质量规划。