数据质量

来自DAMAChina
Root讨论 | 贡献2023年2月15日 (三) 01:15的版本
跳到导航 跳到搜索

正式的数据质量管理类似于其他产品领域的持续质量管理,包括在整个生命周期制定标准,在数据创建、转换和存储过程中完善质量,以及根据标准度量数据来管理数据。将数据管理到这样的水平通常需要有数据质量团队。数据质量团队负责与业务和技术数据管理专业人员协作,并推动将质量管理技能应用于数据工作,以确保数据适用于各种需求。该团队可能会参与一系列项目,通过这些项目建立流程和最佳实践,同时解决高优先级的数据问题。

业务驱动因素

建立正式数据质量管理的业务驱动因素包括:

  • 提高组织数据价值和数据利用的机会。
  • 降低低质量数据导致的风险和成本。
  • 提高组织效率和生产力。
  • 保护和提高组织的声誉。

高质量数据本身并不是目的,它只是组织成功的一种手段。值得信赖的数据不仅降低了风险,而且降低了成本,提高了效率。当员工使用可靠的数据时,他们可以更快、更一致地回答问题。如果数据是正确的,他们能花更少的时间发现问题,而将更多的时间用于使用数据来获得洞察力、做决策和服务客户。

目标和原则

数据质量管理专注于以下目标:

  • 根据数据消费者的需求,开发一种受管理的方法,使数据适合要求。
  • 定义数据质量控制的标准和规范,并作为整个数据生命周期的一部分。
  • 定义和实施测量、监控和报告数据质量水平的过程。
  • 根据数据消费者要求,通过改变流程和系统,以及参与可显著改善数据质量的活动,识别和倡导提高数据质量的机会。

数据质量管理应遵循以下原则:

  • 重要数据优先管理:数据质量管理应关注对企业及其客户最重要的数据,改进的优先顺序应根据数据的重要性以及数据不正确时的风险水平来判定。
  • 全生命周期管理:数据质量管理应覆盖从创建或采购直至处置的整个数据全生命周期,包括其在系统内部和系统之间流转时的数据管理。
  • 预防为主:数据质量方案的重点应放在预防数据错误和降低数据可用性等情形,不应放在简单的纠正记录上。
  • 根因修正:提高数据质量不只是纠正错误,因为数据质量问题通常与流程或系统设计有关,所以提高数据质量通常需要对流程和支持它们的系统进行更改,而不仅仅是从表象来理解和解决。
  • 治理支持:高质量数据的开发必须有治理活动的支持和保障,数据质量规划活动必须支持和维持受治理的数据环境。
  • 标准驱动:数据生命周期中的所有利益相关方都会有数据质量要求。在可能的情况下,对于可量化的数据质量需求应该以可测量的标准和期望的形式来定义。
  • 客观测量和透明度:数据质量水平需要得到客观、一致的测量。测量过程和测量方法应该与利益相关方一同讨论与分享,因为他们是质量的裁决者。
  • 嵌入业务流程:业务流程所有者对通过其流程生成的数据质量负责,他们必须在其流程中实施数据质量标准。
  • 系统强制执行:系统所有者必须让系统地强制执行数据质量要求。
  • 与服务水平关联:数据质量报告和问题管理应纳入服务水平协议(SLA)。