查看“DGI数据治理框架”的源代码

本文为数据治理研究所（DGI）发布的《数据治理框架》，译者不详，欢迎主动联系！

=== '''摘 要''' ===
对不同的人来说，数据治理的含义也不尽相同。正是这种模糊性增加了数据治理的难度。

一个好的框架能够帮我们对复杂模糊的概念做清晰的梳理，明确目标与行动计划，提高项目成功率。

DGI数据治理框架的优势：

* 清晰化
* 确保工作投入的汇报率
* 明确目标
* 确定范围与着重点
* 建立问责制度
* 确定成果的衡量标准

本文讨论的是核心概念、DGI数据治理框架的组成部分以及案例应用中的一般步骤。

=== '''1. 什么是数据治理？''' ===
广义来说，数据治理是对数据相关事项作出决策的工作。

从狭义来说，数据治理是与信息相关过程的决策权与问责制度体系，根据商定的模型执行，确定谁能够对什么信息采取什么措施，以及什么时候、在什么样的情况下使用什么方法。

数据治理在企业中的具体表现是什么？

显然，一个致力于隐私、合规、安全的项目与提供数据库、商业情报的项目是截然不同的。另外，一个主要做架构、集成的项目与致力于数据质量把控的项目所涉及的参与方也是不同的（下文会讨论数据治理中典型的侧重领域）。

不管你的侧重点是什么，首先应向项目参与人员阐明数据治理的意义和目的。这时候应注意自己的表达和描述，要想项目顺利运作，一开始就要引起大家的共鸣、获得各方认同。

你所在企业是否有严格的“等级制度”和命令控制协议？办公活动的开展是否都需要遵循严格的规章制度？你对自己想要的结果非常明确，唯一的问题就是让大家遵循现有的规则？如果是这样，那么你阐述目标时应着重强调“行使职权”。

如果你仍然处于创建政策、规则和数据定义的阶段怎么办？如果你的种种问题陷入“灰色地带”，最大的难题在于如何让合适的参与者在正确的规则上达成一致意见，并共同监督和执行，怎么办？如果是这样，你就应该着重强调“决策权”。

想要完成一个项目，先作一个明确的定义非常重要。谁都不希望对那些帮你治理数据或被管理的人员传达错误的信息。

还有一些其它的定义供参考：

* 数据治理是当人员或信息系统执行信息相关过程时的组织体系、规则、决策权及责任归属。
* 数据治理能够帮助我们作出决策。

你有没有听说过一个企业说自己从来不做“数据治理”？这是不可能的。毕竟，“混乱”也是一种治理形式！独裁政权也是如此。我们所需要的治理是在完全无秩序和专政这两个极端之间找到平衡，从一个非正式、毫无管理概念的状态转变为一个更加正式、获得认同的治理形式。

当然，'''数据治理永远不可能取代管理，它只是企业管理的一个补充'''。当某个管理者觉得自己无法根据自己的判断作出独立决策时，数据治理就要发挥它的作用了。治理是将跨职能的团队集中起来，制定互相依赖的规则，共同解决问题或为数据利益相关方提供服务。

这些跨职能团队——数据管理和/或数据治理小组——通常来自于企业运营部门。他们在建立自己的架构、实施自己的最佳实践、完成达标要求之外，还为IT及数据团队制定需要遵循的政策规则。我们可以把治理看作是完成这些任务的整体过程。

==== '''1. 1 数据治理与IT治理''' ====
数据治理与IT治理的区别是什么？

回答这个问题之前我们可以先来看看另一个问题：数据或信息与信息技术（IT）之间的差别是什么？拿管道来做一个比喻：'''IT是一个管道系统中的管道和泵，数据就像这些管道里面流动的水。'''

'''假设你担心从你家管子里放出来的水被下了毒，这时候你会打电话给修水管的工人吗？当然不会。水管工人只负责管道中的硬件设施，至于里面流动的东西质量如何就在他们的职能范畴外了。你要找的是能够测水质的人。'''

大企业对于它们的IT系统和其中流动的数据需要作出很多决策。而大多数决策都由IT治理团队负责。但这些团队基本以产品管理为主，例如确定什么时候加入一个新的应用程序，这个过程就像在修管道。但是很多关于“管道中液体”的问题就非常容易被忽视。这时候我们就需要跨职能的团队对数据相关的决策作出判断。

当然，这并不是说你现有的IT治理团队没有能力解决这些问题。只是在决策形成过程中，他们需要听取数据专家的分析建议。只有这样，才能更好地作出决策，才能确保其自身的组织结构、重点领域及概念框架正常运作。

=== '''2. 为什么要采用DGI数据治理框架？''' ===
企业生存的三个主要驱动力包括：

* 增加利润
* 成本与复杂性控制
* 通过对风险与脆弱性的研究确保企业正常运作：合规、安全、隐私等

数据治理也必须与这三条通用价值准则紧密联系。如果项目参与者对目标、战略不够清晰，就容易忽视价值回报。而一个好的框架就能够帮我们对复杂模糊的概念做清晰的梳理，明确目标与行动计划，提高效率与成功率。DGI数据治理框架的优势：

* 清晰化
* 确保工作投入的汇报率
* 明确目标
* 确定范围与着重点
* 建立问责制度
* 确定成果的衡量标准

=== '''3. 数据治理的目标''' ===
不管你的侧重点是什么，数据治理方案肯定需要实现以下常见目标：

* 更好的决策制定
* 减少运营冲突
* 满足数据利益相关方的需求
* 就数据相关问题的一般处理方式对管理层与员工作培训
* 创建标准化、可重复的治理过程
* 通过协同工作减少成本、提高效率
* 确保治理过程透明化

另外可能还需实现企业数据定义标准化的目标。其它目标取决于具体项目的侧重点。

但需要注意的是，数据治理项目不应只有一个侧重点。合规性与数据质量目标自然应结合在一起。很多方案都会确定2-3个侧重点，但大多数新形成的项目不会兼顾到每一块内容。

==== '''3.1 典型的数据治理侧重领域''' ====
下面是6个典型的数据治理侧重领域。一个简单的框架就能实现这些目标，因为所有的数据治理项目都存在共性：

* 所有项目活动都具有3个相同的治理目标：创建规则、解决矛盾、提供持续服务。
* 它们都会涉及到数据治理方案全部或其中几个组成部分。
* 它们都要制定一般的治理过程与服务，例如问题解决方案与利益相关方的利益维护。

具有不同侧重点的数据治理项目在处理的规则和问题的类型方面也是不同的。也就是说，它们在数据相关决策或行动上的侧重点会有差异。另外，不同类型的数据相关方的参与程度也有有所不同。数据治理典型的6个侧重领域：

* 政策、标准、战略
* 数据质量
* 隐私/合规/安全
* 架构/集成
* 数据仓库与BI（商业智能）
* 管理支持

===== '''3.1.1 致力于政策、标准、战略制定的数据治理''' =====
一般领导体系跨多个职能部门的情况就需要这样的数据治理方案。例如，一个从孤立开发应用到扩大到整个企业系统的公司会发现他们的开发团队都会依赖于数据架构师和建模师的意见。由跨职能数据管理员支持的数据治理策略能够给予架构师更多有价值的信息。

企业数据管理（EDM）、业务流程重组（BPR）、平台标准化、数据与系统采购等企业项目都能从数据治理项目中获益。这些方案类型一般始于对主数据和/或元数据集的研究。

该方案中数据治理团队与数据管理小组的职责范围：

* 治理策略的审核、批准与监督
* 标准的收集、选择、审核、批准与监督
* 策略与标准一致化
* 完善企业规范
* 完善数据策略
* 确定利益相关方、建立决策权

===== '''3.1.2 致力于数据质量的数据治理''' =====
适用于关注数据质量、完整性与可用性的情况，例如数据采购与并购。一般来说，数据质量讨论的都是主数据。这类方案往往也会涉及数据质量软件。以某单位为重点，同时对具体的部门或项目作定制。该方案中数据治理团队与数据管理小组的职责范围：

* 确定数据质量的治理方向
* 监督数据质量
* 对数据质量相关项目进行状况汇报
* 确定利益相关方，建立决策权，明确责任

===== '''3.1.3 致力于隐私/合规/安全的数据治理''' =====
适用于强调数据隐私、访问管理/许可、信息安全管控、法规遵从或内部要求的情况。一般从高级管理制度中产生。这些方案一般从企业这个大范围着手，但往往又会局限于具体的数据类型。大多数情况下都需要用到敏感数据定位技术来保护数据，管理策略与控制措施。该方案中数据治理团队与数据管理小组的职责范围：

* 通过访问管理与安全需求的支持进行敏感数据保护
* 确保框架与项目的一致性
* 风险评估与管控
* 努力达到法规、契约、架构合规要求
* 确定利益相关方、建立决策权、明确责任

===== '''3.1.4 致力于架构/集成的数据治理''' =====
适用于主系统采购、开发、跨职能决策制定与责任归属的更新活动共同完成的情况。该方案的另一驱动力是SOA（服务导向型架构），其需求是完善的数据管理或对元数据、主数据管理（MDM）或企业数据管理（EDM）提出新要求。该方案中数据治理团队与数据管理小组的职责范围：

* 确保数据定义的一致性
* 支持架构策略与标准
* 支持元数据项目、SOA、主数据管理、企业数据管理（EDM）
* 发动各个职能部门共同解决集成过程中遇到的问题
* 确定利益相关方、建立决策权、明确责任

===== '''3.1.5 致力于数据仓库与商业智能的数据治理''' =====
适用于特定数据仓库、数据市场、BI（商业智能）工具协同工作的情况。该方案对数据相关决策要求很高，企业机构通过数据治理帮助决策，为下一个决策提供导向作用，并在新的系统投入运营后落实标准与规范。

一开始范围可能会局限于新系统的规则、角色、责任，但有时候这种类型的方案其实是企业数据治理或数据管理制度方案的雏形。该方案中数据治理团队与数据管理小组的职责范围：

* 为数据使用和定义构建规则
* 确定利益相关方、建立决策权、明确责任
* 确定SDLC（系统开发生命周期）包含的治理步骤与项目顺序
* 明确数据资产与相关项目的价值

===== '''3.1.6 致力于支持管理活动的数据治理''' =====
适用于当管理者认为作出“日常化”的数据管理决策比较困难的情况，因为这些决策可能会影响到日常运营或法律法规的遵从。管理者意识到他们需要通过多方合作才能作出更为准确的决策，而不是在不知道利益相关方是谁或者知道但难以聚齐的情况下作出盲目的决策。

有时，这些方案会包含一个委员会，共同分析相互作用、制定决策、公布政策。但也有一些数据治理方案具备多个目标，如帮助实现更好的企业管理、满足合规性。该方案中数据治理团队与数据管理小组的职责范围：

* 评估数据与数据相关项目的价值
* 实现框架与项目的一致性
* 确定利益相关方、建立决策权、明确责任
* 确定SDLC（系统开发生命周期）包含的治理步骤与项目顺序
* 对与数据相关的项目作监督和瑰宝
* 优化与数据相关的信息与职位

==== '''3.2 你的侧重点与数据利益相关方''' ====
你会把数据治理项目的重点放在哪里？这个问题的答案会决定你的项目参与者所遵循的规则与工作重点，也会影响你决策团队的组成以及他们各自需要付出的努力。

那么究竟谁是数据利益相关方？可能会影响该数据或受到该数据影响的所有个体或组织。有的相关方非常明确，例如商业组织、IT团队、数据架构师以及DBA（数据库管理员）。但有一些则不那么明显了。在特定的情境下明确哪些是相关方以及什么时候需要他们的介入就是数据治理团队的职责了。

=== '''4. 数据治理生命周期（DGLC）方法''' ===
所有项目都有生命周期。下面是数据治理生命周期的7个阶段：

# 价值声明
# 确定流程
# 计划与资金筹备
# 项目规划
# 项目实施
# 数据治理
# 监控、评估、报告

需要注意的是，一个数据治理项目不是从项目规划开始的，前面还有很多准备工作需要完成。

* 在作出谁加入什么委员会的决定之前，首先应明确你的项目价值。
* 另外还要制定一个计划流程，确保每一个相关方都明确。
* 这些相关方需要在投身项目之前知晓谁、什么、何时、何地、为什么、怎么办等所有信息，也就是说你在跟他们解释之前就应尽量想到他们可能会问的问题。

DGLC的前三个阶段比较困难。

项目启动前，可以先向公司里已经成功启动一个新项目的团队请教，交流他们在价值声明与资金筹备中的经验。

另外也可以参考其它已经做过数据治理项目的企业，了解他们的衡量标准、价值声明、资金来源以及项目成果。

就数据治理生命周期的最后阶段来说，这里还有一个注意点：作规划时只有得到利益相关方的意见建议后才能优化成果评估、情况汇报等工作。

=== '''5. DGI框架的具体组成部分''' ===
[[文件:DGI.png|缩略图|DGI数据治理框架]]
下面是数据治理项目的10个通用组成部分：

与规则相关的——

# 最终目标与愿景
# 短期目标、治理标准、评估标准、资金筹集策略
# 数据规则与定义
# 决策权
# 问责制度
# 控制措施

员工与企业部门——

# 数据利益相关方
# 数据治理办公室
# 数据管理小组

过程——

# 主动型、应对型与持续性的数据治理过程（项目）

以上内容总结为一张图。
==== '''5.1 与规则相关''' ====

===== '''最终目标与愿景——''' =====
最高级的数据治理方案一般都具有三大终极目标：

* 主动的规则定义与一致性调整
* 为数据利益相关者提供持续的、跨职能的保护和服务
* 解决因违反规则而产生的问题

这和许多具有代表性的政治治理形式所具有的职能类似：立法部门——以法律的形式制定规则；执法部门——执行规则，同时为选民提供持续性服务；司法部门——违法处置，必要时解释法律并解决不同规则和规章之间的不一致问题。

当然这不是说你的数据治理方案必须涵盖这三个“职能部门”，因为一般你的业务和IT管理组织架构已经具备“执法部门”的职能。而且，一般来说，建立规则的数据管理小组也能够解决所产生的问题。

但是，即使你确定了数据治理架构、人员角色与责任归属，“参议员”和“法官”还是需要支持人员。为了顺利建立并落实政策、标准和其它类型的规则，你的数据治理方案需要具备DGI数据治理框架所支持的类型。

根据你的项目目标建立一个清晰的愿景。如果执行了一套成熟的数据治理方案，你的企业会产生什么样的变化？如果没有，又会怎样？

注意：项目目标的表达可以简单陈述，但愿景（蓝图）的描绘一定要具体生动，具有鼓动性。你的蓝图要达到激励利益相关方的目的，让他们看到希望，制定行动目标。

===== '''短期目标、治理标准/成功评估、资金筹集策略——''' =====
有的方案目标需要实现的可能是一些“软”指标，难以衡量评估。而有些则可能是SMART的：Specific（具体的）、Measurable（可衡量的）、Actionable（可操作的）、Relevant（相关的）、Timely（及时的）。

如何确定你自己的方案目标？首先应根据“4P”预估治理会产生的影响：Programs（方案）、Projects（项目）、 Professional Disciplines（专业工作）、People as individuals（个体）。思考自己所付出的东西能够给企业的高端项目带来什么好处：

* 增加利润、提升价值
* 成本与复杂性管控
* 通过对风险、漏洞的关注（合规、安全、隐私等）确保企业的正常运作。

思考该方案将如何促进架构、数据质量、应用开发或其它专业工作。另外，还需思考一个强大的数据治理方案能够帮具体某个关键人员解决什么关键问题或能够为他提供什么附加价值。

当然，也不能忽略数据本身——你对数据与元数据所能产生的影响以及如何对这种影响进行评估。

度量标准（和目标类似）需要SMART。数据治理项目中的每个人都应该明确项目目标与度量标准。可以用下面的模板创建价值声明：

If we do A, then we should expect B, with a result of C; otherwise, we should expect D, with a result of E.

（执行A后由于结果C追求目标B；否则由于结果E而追求目标D）

类似价值明确后能够帮助优化资金筹集的决策。针对主要的利益相关方，你还需要解决以下问题：

* 数据治理办公室的运营资金来源（或类似问题）
* 如何为数据分析师/架构时间提供资金支持，解决规则定义、数据定义以及研究中必须解决的问题
* 如何为数据管理制度的落实提供资金
* 就业务及IT员工定义数据、分析数据问题、帮助解决数据问题等内容，确定需要建立的协议

===== '''数据规则与定义——''' =====
该部分主要指的是与数据相关的政策、标准、合规要求、业务规则以及数据定义。根据方案侧重点，实现以下内容：

* 创建新的规则/定义
* 收集现有规则/定义
* 找出差距与相重的部分
* 处理矛盾的规则/定义
* 应用特定的定义时，建立或实现规则的正式化

===== '''决策权——''' =====
在创建规则或数据相关决策制定之前，先要明确一个问题：谁、什么时候、通过什么流程完成决策？促进决策权的形成也属于数据治理方案的“职责范围”。

合规性项目中决策权的定义比较简单。例如，数据治理是否需要遵循联邦法律的决策由决策相关人员投票决定吗？答案当然不是。这个决定应由企业的董事会参考法务部意见后作出。

其它项目类型的决策则需要通过协商确定。例如，由谁决定一个新系统中数据字段的长度？这个决定可能要由数据架构部门来作。但也有可能需要参考很多利益相关放的意见。或者他们其中一方具有形成决策的强制要求。

===== '''问责制度——''' =====
如果规则被创建或与数据相关的决策制定以后，就要开始着手实施。谁做？做什么？什么时候做？对于那些职责范围不够明确的项目活动，数据治理团队就需要将相关活动执行任务分配至日常工作以及企业软件开发生命周期（SDLC）中。

对于遵守合规性的项目尤其如此。有时企业会致力于分配执行合规要求的职责任务。首先，因为合规与治理类似，是一种需要跨职能部门的活动。第二，因为很多管理者只会管理自己擅长的领域，而在合规要求管理方面缺乏经验。

新的合规管理范例要求只有完成执行、管控、记录、合规验证4个步骤后才算真正结束。

单个管理者往往不能很好地确定其中涉及的所有任务和整合点。实际上，在一个合规环境中，单个管理者是不允许单独解读合规要求。

相反，企业一般都会选择集中制定要求的小组模式，制定完成后传达给利益相关方。有时，数据治理团队也会被要求参与要求制定与数据相关工作的分配中。

注意：无论你是否处于一个合规环境中，大多数治理的工作都要涉及到多个职能部门。你的治理协调人员应该明确并遵循所在企业调用人员、安排任务以及管理方面的规范。

===== '''控制措施——''' =====
我们都知道数据的存在永远伴随着风险。敏感数据泄露事件频发及其产生的后果，尤其是对那些数据关联性高的企业机构来说，数据就是决定企业生存与否的风险因素。

如何处理风险？通过阻止风险事件发生的方式进行管理。对于那些可能阻止不了的事件，至少要有检测到的能力，然后进行修复，消灭风险。一个企业的风险管理战略往往通过控制措施操作。

一般情况下，数据治理项目需要给出与数据相关的控制措施建议，应用于多个层面（网络、操作系统、数据库、应用程序、用户进程），从而实现治理目标。

另外，数据治理方案还需提供现有控制措施（变更管理、政策、培训、SDLC、项目管理等）的改进建议。

==== '''5.2 人员与企业团队相关''' ====
数据治理方案通常会包含几个企业团队。基本的包括数据利益相关方、数据管理小组以及一个数据治理办公室（或类似的职能部门）。有些项目也会包含数据质量管理专员，对特定的质量特征进行监控与处理。

===== '''数据利益相关方——''' =====
这些人员可能来自企业的多个部门，包括创建数据、使用数据或制定数据规则与要求的团队。因为利益相关方会影响数据或受数据的影响，因此他们对数据治理项目的目标会有一个更加准确的目标定位。

有人希望能够参与数据相关的决策活动活动中。而有人则希望在决策正式敲定之前能够享有意见建议权。还有一些人则希望决策制定以后能够被通知到位。

一般情况下，执行工作任务的利益相关方会形成一个数据治理的“董事会”，为项目实施出谋划策、提出策略、解决问题。在其它一些情况中，“智囊团”的角色由企业中已有的团队或部门承担，如IT指导委员会或执行团队。

===== '''数据治理办公室（DGO）——''' =====
上文提到联邦政府中的参议院和法官都需要支持其他人员。企业中的决策者以及定义数据、监督规则合规性、解决相关问题的人员同样如此。

DGO的职责就是促进并支持这些治理活动。它会收集项目成功标准并向数据利益相关方汇报，以交互、信息访问、记录保留、培训等形式持续“关怀”利益相关方。

===== '''数据管理小组（委员会）——''' =====
数据管理委员会由所有数据利益相关方组成，聚集起来共同作出数据相关的决策。有时制定政策，标准具体化，或对更高级的数据治理“董事会”的政策提出建议。

在大企业中，一个单一的治理团队是不够的。但不管是大企业还是小企业，数据管理委员会都会被拆分成多个工作组，处理不同类型的数据问题与决策。

致力于数据质量的数据治理项目可能也会包含数据质量管理专员。该职能部门或岗位需要向业务部门或数据质量管理团队汇报，根据完整性与正确性的原则检查数据集并对DGO（数据治理办公室）提出修改意见或其它问题。

==== '''5.3 数据治理过程''' ====
'''主动型、应对型以及持续性的数据治理过程——'''

DGI数据治理框架的前6个组成部分主要处理的是规则。另外也明确了7-9部分中会用的规则相关的事项。最后这个组成部分——过程——描述的是数据治理的方法。

理想状态下，这些过程应该是标准化、文档化且可重复的，用以支持数据管理、隐私、安全、访问管理中的合规要求。

每个企业可自行决定数据治理过程中的结构与形式。数据治理协会（DGI）就可重复标准化的过程，建议如下：

# 政策、要求、控制措施的一致化
# 建立决策权
# 建立问责机制
# 执行数据管理制度
# 变更管理
# 数据定义
# 问题解决
# 数据质量要求具体化
# 实现治理的技术化
# 利益相关方的“关怀”
# 沟通交流
# 价值衡量与汇报

=== '''6. 难点''' ===
在2006十二月佛罗里达州的奥兰多举行的业界第一次数据治理会议上，成功完成数据治理项目的业界先驱表示，80%到95%数据治理活动都是沟通和交流！他们一致对通过多次书面、口头的交流促进利益相关方实现工作目标，最终成功完成项目的过程感到非常惊讶。

你不是沟通高手？不用着急，这项工作的计划和支持性工具可以交给项目人员中的管理者或这方面的专家。

例如，大多数DGO（数据治理办公室职员）根据客户细分来判断利益相关方的信息需求、惯用术语以及特殊需求。他们会创建不同的交流层，包括电梯演讲、价值声明、影响说明、演讲汇报等等，从而更好地、细致地传达数据治理的目标与理念。

他们利用利益相关方的参与度标准来确保其需求没有被忽略，每个人都以正确的顺序获得了属于自己的这一部分信息。另外，他们也会使用电子邮件模板以及演讲与汇报模板。

=== '''7. 准备开始吧！''' ===
我所在企业适合什么类型的数据治理方案呢？我应该从哪里下手？

完成设计数据治理和数据管理组织机构、分配角色和责任、制定政策等重要工作的方法肯定没错，但是实际上，项目设计其实是数据治理计划的第7步，因此首先应该确定自己的侧重点与价值定位。确保你的工作能够实现以下目标：满足利益相关方的需求增加利润，成本与复杂性的管控以及通过对风险、合规、脆弱性的关注确保企业的正常运营。

那我怎么确保呢？的确，存在疑虑很正常。毕竟当局者迷。这时候我们就可以集思广益，让企业中其他相关人员帮你明确项目价值并且建立一个能够清晰地传达理念的计划。

当你能够清楚地描述自己所在组织中数据相关的问题、如何解决、如何衡量成功与否，那么你就能从整个数据治理计划中受益无穷了。