数据治理之数据标准管理

一、大数据标准体系

根据全国信息技术标准化技术委员会大数据标准工作组制定的大数据标准体系，大数据的标准体系框架共由七个类别的标准组成，分别为：基础标准、数据标准、技术标准、平台和工具标准、管理标准、安全和隐私标准、行业应用标准。本文主要阐述其中的第二个类别：数据标准。

二、关于数据标准认识的几个误区

数据标准这个词，最早是在金融行业，特别是银行业的数据治理中开始使用的。数据标准工作一直是数据治理中的基础性重要内容。但是对于数据标准，不同的人却有不同的看法：有人认为数据标准极其重要，只要制定好了数据标准，所有数据相关的工作依标进行，数据治理大部分目标就水到渠成了。也有人认为数据标准几乎没什么用，做了大量的梳理，建设了一整套全面的标准，最后还不是被束之高阁，被人遗忘，几乎没有发挥任何作用。首先亮明作者的观点：这两种看法都是不对的，至少是片面的。实际上，数据标准工作是一项复杂的，涉及面广的，系统性的，长期性的工作。它既不能快速地发挥作用，迅速解决掉数据治理中的大部分问题，同时也肯定不是完全没有作用，最后只剩下一堆文档——如果数据标准工作的结局真是如此，那只能说明这项工作没有做好，没有落到实处。本文主要的目的，就是分析为什么会出现这种情况，以及如何应对。而首先需要做的是厘清数据标准的定义。

三、数据标准的定义

何为数据标准，各相关组织并没有统一的，各方都认可的定义。结合各家对数据标准的阐述，从数据治理的角度出发，我尝试着给数据标准做一个定义：数据标准是对数据的表达、格式及定义的一致约定，包含数据业务属性、技术属性和管理属性的统一定义；数据标准的目的，是为了使组织内外部使用和交换的数据是一致的，准确的。

四、如何制定数据标准

一般来说，对于政府，会有国家或地方政府发文的数据标准管理办法，其中会详细规定相关的数据标准。所以在此主要讲企业如何制定数据标准。企业的数据标准来源非常丰富，有外部的监管要求，行业的通用标准，同时也必须考虑到企业内部数据的实际情况，梳理其中的业务指标、数据项、代码等，将以上的所有的来源都纳入数据标准是没有必要的，数据标准的范围应该主要集中在企业业务最核心的数据部分，有的企业也称作关键业务数据或核心数据，只要制定出这些核心数据的标准，就能够支撑企业数据质量、主数据管理、数据分析等需要。

五、数据标准化的难题

数据标准好制定，但是数据标准落地相对就困难多了。国内的数据标准化工作发展了那么多年，各个行业，各个组织都在建设自己的数据标准，但是你很少听到哪个组织大张旗鼓地宣传自己的数据标准工作多么出色，换句话说，做数据标准取得显著效果的案例并不多。为什么会出现这种情况，主要有两个原因：一是制定的数据标准本身有问题。有些标准一味地追求先进，向行业领先看齐，标准大而全，脱离实际的数据情况，导致很难落地。第二个原因，是标准化推进过程中出了问题。这是我们重点阐述的原因，主要有以下几种情况：

对建设数据标准的目的不明确。某些组织建设数据标准，其目的不是为了指导信息系统建设，提高数据质量，更容易地处理和交换数据，而是应付监管机构检查，因此需要的就是一堆标准文件和制度文件，根本就没有执行的计划。

过分依赖咨询公司。一些组织没有建设数据标准的能力，因此请咨询公司来帮忙规划和执行。一旦咨询公司撤离，组织依然缺乏将这些标准落地的能力和条件。
对数据标准化的难度估计不足。很多公司上来就说要做数据标准，却不知道数据标准的范围很大，很难以一个项目的方式都做完，而是一个持续化推进的长期过程，结果是客户越做遇到的阻力越大，困难越多，最后自己都没有信心了，转而把前期梳理的一堆成果束之高阁，这是最普遍的问题。
缺乏落地的制度和流程规划。数据标准的落地，需要多个系统、部门的配合才能完成。如果只梳理出数据标准，但是没有规划如何落地的具体方案，缺乏技术、业务部门、系统开发商的支持，尤其是缺乏领导层的支持，是无论如何也不可能落地的。
组织管理水平的不足：数据标准落地的长期性、复杂性、系统性的特点，决定了推动落地的组织机构的管理能力必须保持在很高的水平线上，且架构必须持续稳定，才能有序地不断推进。以上这些原因，导致数据标准化工作很难开展，更难取得较好的成效。数据标准化难落地，是数据治理行业的现状，不容回避。

六、如何应对这些难题

应对以上这些难题，最经济、最理想的模式当然是：做大数据建设，首先做标准，再做大数据平台，数据仓库等。但一般的不大可能有这样的认识，很多时候大家都是先建设再治理。先把信息系统、数据中心建好，然后标准有问题，质量不高，再建数据标准，但实际上这时候已经是回过头来做一些亡羊补牢的事情，客户的投资肯定有一部分是浪费。正因为其太过理想化，所以这种模式几乎是见不到的。在实践中，我们往往还是需要更多地考虑如何把数据标准落地到已有的系统和大数据平台中。数据标准落地有三种形式：

源系统改造：对源系统的改造是数据标准落地最直接的方式，有助于控制未来数据的质量，但工作量与难度都较高，现实中往往不会选择这种方式，例如有客户编号这个字段，涉及多个系统，范围广、重要程度高、影响大，一旦修改该字段，会涉及到相关的系统都需要修改。但是也不是完全不可行，可以借系统改造，重新上线的机会，对相关源系统的数据进行部分的对标落地。

数据中心落地：根据数据标准要求建设数据中心（或数据仓库），源系统数据与数据中心做好映射，保证传输到数据中心的数据为标准化后的数据。这种方式的可行性较高，是绝大多数组织的选择。
数据接口标准化：对已有的系统间的数据传输接口进行改造，让数据在系统间进行传输的时候，全部遵循数据标准。这也是一种可行的方法。

在数据标准落地的过程中，需要做好6件事情：

事先确定好落地的范围：哪些数据标准需要落地，涉及到哪些IT系统，都是需要事先考虑好的。

事先做好差异分析：现有的数据和数据标准之间，究竟存在哪些差异，这些差异有多大，做好差异性分析。
事先做好影响性分析：如果这些数据标准落地了，会对哪些相关下游戏厅产生什么样的影响，这些影响是否可控。元数据管理中的影响性分析可以帮助用户确定影响的范围。
制定落地的执行方案：执行方案要侧重于可落地性。不能落地的方案，最终只能被废弃。一个可落地的方案，要有组织架构和人员分工，每个人负责什么，如何考核，怎么监管，都是必须纳入执行方案中的内容。
具体地执行落地方案：根据执行方案，进行数据标准落地执行。
事后评估：事后需要跟踪、评估数据落地的效果如何，做对了哪些事，哪些做得不足，如何改进。

七、总结

数据标准的建设大致可以分成两个阶段：1、梳理和制定数据标准。2、数据标准的落地和实施。其中后者是公认的难题。本文分析了其中的原因，提供了一些如何让数据标准更快更好落地的方法。

数据治理之数据标准管理相关推荐

石秀峰：数据治理之数据标准管理
这篇是石秀峰先生直播的内容精华,内容非常干,全文6500字. 另外,石秀峰大佬写的<一本书讲透数据治理>最近刚出版,推荐大家阅读石秀峰:数据治理之数据标准管理来源:石秀峰-<帆软 ...
数据治理【数据标准管理】
目录 2.数据标准管理 3.数据标准梳理 4.数据标准管理组织 5.数据标准设计流程 6.数据标准管理价值 1.概念数据标准是一套由管理制度.管控流程.技术工具共同组成的体系,是通过这套体系的推广, ...
企业数据治理之主数据管理
本篇文章为亿信华辰<决战数字化转型>系列直播中<企业数据治理之主数据管理>视频直播稿件.如需获取相关资料,可登录亿信华辰官网社区进行直播回看或下载PPT. 主数据大家肯定都不陌 ...
数据治理【元数据管理】
目录 1.认识元数据 2.元数据的分类 3.元数据管理成熟度评估模型 4.元数据管理平台架构 4.1 元数据采集服务 4.2 元模型驱动的设计与开发 4.3 元数据管理服务 4.4 元数据访问服务 4 ...
数据治理之元数据管理的利器——Atlas入门宝典（万字长文）
随着数字化转型的工作推进,数据治理的工作已经被越来越多的公司提上了日程.作为Hadoop生态最紧密的元数据管理与发现工具,Atlas在其中扮演着重要的位置.但是其官方文档不是很丰富,也不够详细.所以整 ...
数据治理之元数据管理的利器——Atlas入门宝典
随着数字化转型的工作推进,数据治理的工作已经被越来越多的公司提上了日程.作为Hadoop生态最紧密的元数据管理与发现工具,Atlas在其中扮演着重要的位置.但是其官方文档不是很丰富,也不够详细.所以整 ...
数据治理【主数据管理】
目录 1.摸家底 1.1 数据资源普查 1.2 主数据识别 1.3 数据管理能力评估 2.建体系 2.1 组织体系 2.2 标准体系 2.3 制度与流程体系 2.4 技术体系 2.5 安全体系 3.接 ...
数据治理解决方案数据标准明细表
数据标准明细表序号标准名称** 标准编号**/项目编号发布单位**/归口单位状态** A 基础共性 AA 术语 1 信息技术大数据术语 GB/T 35294-2017 全国信息技术标准化技 ...
数据治理：数据标准的6大建设步骤及实施分享
"车同轨.书同文",数字化时代,数据标准化是企业进行数字化转型的根基.数据标准与企业数据管理的每个域都相关,是数据治理工作的最基础内容. 元数据管理中,需要从业务属性.技术属性.管 ...

数据治理之数据标准管理

数据治理之数据标准管理相关推荐

最新文章

热门文章