数据治理中最常听到的名词有哪些？

开门见山，我们先来说说何为“数据治理”

数据治理就是实现数据价值的过程。通俗的理解就是让企业的数据从不可控、不可用、不好用到可控、方便易用且对业务有极大帮助的过程。

这个过程怎么实现？通过采集、传输、储存等一系列标准化流程将原本零散的数据变成格式规范、结构统一的数据，同时对其进行严格规范的综合数据监控，保证数据质量；然后对这些标准化的数据进行进一步的加工分析，形成具有指导意义的业务监控报表、业务监控模型等，来帮助企业进行辅助决策。

今天中培小编就来为大家普及一些与数据治理有关的基本概念。

一、元数据

元数据是关于数据的数据，是为了描述数据的相关信息而存在的数据。元数据按照其描述对象的不同可以分为三大类，分别是“技术元数据”、“业务元数据”、“管理元数据”。

1.技术元数据

技术元数据主要是描述系统中技术领域的相关概念信息，包括数据结构、数据处理方面的特征描述，以及数据源接口、数据仓库、数据集市、存储等全面数据处理环节的信息。

适用对象：这类元数据主要被系统建设的技术人员使用。

主要类型：如图所示：

2.业务元数据

业务元数据主要用来描述记录在系统中业务的相关概念等信息，包括业务术语、信息分类、指标定义、业务规则等内容。它提供了介于使用者和实际系统之间的语义层，使得不懂计算机技术的业务人员也能够“读懂”数据仓库中的数据。

适用对象：主要的使用者是业务人员和公司决策人员

主要类型：如图所示：

3.管理元数据

管理元数据用来定义系统中涉及管理领域的相关概念等信息，包括人员角色、岗位职责等内容，例如对项目管理、IT运维、IT资源设备等相关信息的描述，这里元数据主要被企业IT部门的管理人员使用。利用此类元数据可以进行工作分配、网络资源等方面的管理。

管理元数据进一步细分又可以划分出认责元数据、稽核元数据、安全元数据、操作元数据、存储元数据等分类。例如操作元数据有系统执行日志；访问模式、访问频率和执行时间；程序名称和描述；版本维护等；备份、归档时间、归档存储信息等。

不管分类如何变化，实质性内容都是围绕数据的统一定义、数据的标准规范、数据的处理过程、数据存储要求、数据的安全管理要求等等内容进行规范管理。

二、主数据

主数据是指满足跨部门业务协同需要的，反映核心业务实体状态属性的基础信息。举个例子，公司的员工信息，存在于很多业务系统里，比如人力系统、财务系统、OA系统，以及考勤系统等，但每个系统所需要的信息可能不一样，财务系统需要员工开放信息，比如从哪个银行开户，账号是什么，这样方便打款；人力系统可能只是需要员工的一些入职信息。

这样的员工信息就属于主数据，它在很多企业业务系统被使用，同时还能反映这个员工本身的一些属性。类比下，还有产品、物料、客商、客户、供应商等主数据。

1.客商主数据

客商是指与企业有外部交易往来的实体组织，包括客户和供应商。企业规模较大时，客户与供应商就具有了较高的重合度，企业就会将这些外部交易对象作为“客商”来统一管理。

客商主数据则是指能满足跨部门业务协同需要的，反映客商实体状态属性的基础信息。

我们可以把客商主数据看作是“神经中枢”，链接着企业的原材料采购、加工、产品包装、质检、销售、仓库物流、客户满意度评价等多个环节，它的及时性和有效性，影响着每个环节信息的精准分析和决策，从而影响企业在市场竞争中的地位。

2.物料主数据

物料是我国生产领域中的一个专业术语，在生产领域流转的一切材料包括：原材料、零部件、半成品、外协件、产成品以及生产过程中必然产生的边角余料、废料以及各种其他废物料。在财务核算上属于资产类存货科目的物品。

物料主数据包含了对所有企业所采购、生产和存储在库存中物料的描述，主要记录某种物料的各种参数、属性及其相关信息，比如物料编码、物料描述、物料类型和财务成本信息等。

它是企业中有关物料信息的物料数据代码库，将所有的物料数据集成在单一的物料数据库中，消除了数据冗余的问题，而且不仅允许采购部门使用这些数据，而且其它应用部门 (例如库存管理、物料计划及控制、发票校验等)也可以使用这些数据。

三、数据标准

数据标准是指企业为保障数据的内外部使用和交换的一致性和准确性而制定的规范性约束。而数据标准管理则是一套由管理制度、管控流程、技术工具共同组成的体系，是通过这套体系的推广，应用统一的数据定义、数据分类、记录格式和转换、编码等实现数据的标准化。

数据标准由业务标准、技术标准和管理标准组成。例如：数据项的业务定义、业务规则、质量规则为该数据的业务标准；数据项的名称、编码、类型、长度等为该数据的技术标准；数据的管理流程、管理部门、管理人员为该数据的管理标准。

1.业务标准规范

通过对实体数据的标准化定义，解决了数据不一致、不完整、不准确等问题，通知数据的内容范围需要核定，主要和业务强关联，由基础指标和计算指标标准组成，具有特定的业务含义。

2.技术标准规范

数据范围规范工作完成之后，需要对数据的编码规则、命名规则进行规范，主要包括数据源、数据项、逻辑模型标准、物理模型标准、元数据、公共码值标准等；

3.管理标准规范

数据标准管理是一个涉及范围广、业务复杂、数据繁杂的工程。数据标准管理绝非是一个部门的事情，不能在企业的单一部门得到解决。数据管理制度章程是确保对标准数据管理进行有效实施的认责制度。建立标准数据管理制度和流程体系是需要明确标准数据的归口部门和岗位，明确各岗位职责，明确每个标准数据的申请、审批、变更、共享的流程。需要从整个组织考虑，建立专业的数据管理组织体系，明确数据标准工作的目标和内容，并监督及考核数据标准的贯彻与执行。

四、数据质量

数据质量是指在业务环境下，数据符合数据消费者的使用目的，数据质量需要满足业务场景具体的需求。数据质量包含两个方面：数据自身的质量和数据的过程质量。

数据自身的质量很好理解，比如数据必须真实准确地反映实际发生的业务，任何业务操作的数据都没有被遗漏，数据存在各种约束条件，这种约束条件不能自相矛盾等等。

数据的过程质量就是数据的使用过程符合标准规范，比如数据存储：数据是否被安全地存储到了合适的介质上，能够保证数据不受外来因素的破坏。当然数据存储只是数据使用过程的一个环节，除此之外还包括获取、传输、应用和删除等一系列的使用过程，这其实也是数据生命周期的各个阶段。

1.数据质量管理

数据质量管理指对数据在每个阶段里可能引发的各类数据质量问题进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平确保数据质量的提升。

换句话说，数据质量管理是一个集方法论、管理、技术和业务为一体的解决方案，不是一时的数据治理方法，是一个不断循环的管理过程。一方面反映出企业数据很难一次性就达到使用的标准规范，毕竟数据治理是一个相对漫长的过程；另一方面也反映出数据质量的重要性以及数据质量工作的零散性和琐碎性。

2.数据质量评估

至于如何去评估数据质量管理的过程的好坏，我们可以从以下五个维度来进行数据质量评估：

五个维度共同构成了数据质量评估的基本框架，每个维度都可以通过设置评估问卷随机抽取一些问题然后收集相应的数据；注意收集数据的时候可以采用不同的方式，访谈、发放链接、随机抽检等等。

五、数据指标

百度百科中对数据指标的定义为：预期中打算达到的指数、规格、标准，一般用数据表示就是指标。

而数据指标有别于传统意义上的统计指标，它是通过对数据进行分析得到的一个汇总结果，是将业务单元精分和量化后的度量值，使得业务目标可描述、可度量、可拆解。但只有对业务有参考价值的可统计的数据才能叫做指标，因为它反映了用户做了哪些行为，给业务带来了怎样的结果指标。

1.数据指标的分类为结果型指标，过程型指标。

六、数据资产

数据资产是指由企业拥有或者控制的，能够为企业带来未来经济利益的，以物理或电子的方式记录的数据资源，如文件资料、电子数据等。但在企业中，并非所有的数据都构成数据资产，数据资产是能够为企业产生价值的数据资源。

数据资产管理是对存量数据进行系统化梳理，与数据标准匹配，推动数据资源转化为数据资产的过程，即指规划、控制和提供数据及信息的一组业务职能，包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法和程序，从而控制、保护、交互和提高数据资产的价值。数据资产管理需要充分融合业务、技术和管理，以确保数据资产保值增值。

▲数据治理实施步骤

在数据治理架构中，数据资产管理位于底层数据和数据管理与应用之间，处于承上启下的重要地位。对上支撑数据安全管理等职能建设以价值发掘为导向的数据应用，对下实现底层数据的梳理、对接数据标准，达成企业内部“统一数据标准”的目标。

七、数据交换与共享

出于各种原因，组织会选择数据交换与共享。例如，内部与内部的数据交换共享，企业与企业之间的数据交换共享，以及政府或企业对个人或服务提供商的数据交换与共享。数据交换共享就是让不同地方使用不同计算机、不同软件的用户能够读取他人数据并进行各种操作运算和分析。

也就是当数据从一个系统跨授权边界访问或传递到另一个系统时，就需要使用一个或多个协议来指定每个组织的责任、要访问或交换的数据类型和影响界别、如何使用交换数据，以及在交换系统的两端处理、存储或传输数据时如何保证数据安全。

常见的数据交换/共享场景包括但不限于：在授权用户之间共享数据和信息；提供对数据的自定义访问；合作进行联合项目；提供完整的、短暂的、间歇性的、永久的或临时的数据交换共享活动；通过交换共享减少数据收集工作量和成本；提供在线培训；为关键数据和备份文件提供安全存储。

例如，某农发行数据交换平台针对综合业务系统、信贷、国际结算等源业务系统的数据通过亿信数据交换平台进行统一抽取，通过数据转义、码值转换等实现数据标准化，并将处理后的数据以文件或库表等形式下发给消费系统。

（图：农发行数据交换平台架构图）

八、数据安全

根据《数据安全法》第三条，“数据安全是指通过采取必要措施，确保数据处于有效保护和合法利用的状态，以及具备保障持续安全状态的能力。”

数据安全并不仅仅局限于数据本身的安全，而是一个综合概念。在数据从客户端到服务端传输过程中，涉及很多风险因素，比如客户端访问主体的身份是否真实可靠，数据在传输过程中是否完整、防篡改，到达服务端后以明文件存储还是加密存储，以及哪些用户使用等等。

从整体来看，在数据生命周期的每个环节，包括数据收集、存储、使用、加工、传输、提供、公开等，都存在三个重要概念：数据处理主题、数据本身、数据处理行为。

从数据源头上，要确保数据采集主题身份真实、可信；对于数据本身，在传输中要确保其真实性（数据来源真实可信）、完整性（数据未被非授权篡改）、机密性（数据未被非授权者获得）、可用性（数据可被授权者正常使用）等；对于数据处理行为，要确保其发送或接收行为、时间点的不可否认性。

九、数据生命周期

数据的生命周期是指某个集合的数据从产生或获取到销毁的过程。数据生命周期分为：采集、存储、整合、呈现与使用、分析与应用、归档和销毁几个阶段。在数据的生命周期中，数据价值决定着数据生命周期的长度，并且数据价值会随着时间的变化而递减。

数据生命周期管理是一种基于策略的方法，用于管理信息系统的数据在整个生命周期内的流动：从数据创建和初始的存储，直到它过时被删除或销毁。

数据生命周期管理的目标主要有4点：

①通过规范数据的生命周期管理，提高数据的整体管理水平，满足监管要求；

②优化存储结构，有效控制在在线数据规模，提高生产数据访问效率；

③提高系统资源使用效率，确保系统安全、稳定、高效运行；

④做好历史数据管理，为用户的客户服务和经营分析提供数据支撑。

这里需要注意的是，数据的采集粒度与时效性、存储方式、整合状况、可视化程序、分析的深度和应用衔接的程序，都会对数据价值的体现产生影响。所以需针对数据生命周期各个阶段的特点采取不同的管理方式和控制手段。总之，在成本可控、可量化、可管理的前提下，从数据中挖掘出更多有效的数据价值。

与此同时，数据全生命周期管理与企业数据战略也是密不可分的。数据战略决定了数据采集策略和范围、存储和计算资源投入、数据整合能力、可视化的程序和分析的广度与深度等资源投入。

数据治理中最常听到的名词有哪些？相关推荐

西瓜创客张平曦：从商业目标出发解决数据治理中的困境
在以"矩·变"为主题的神策 2019 数据驱动大会现场,西瓜创客数据分析负责人张平曦发表了名为<从商业目标出发解决数据治理中的困境>的主题演讲.以下内容根据其现场演讲整 ...
PPT 下载 | 数据治理中的一些挑战与应用
本文根据神策数据联合创始人 & CTO 曹犟在神策 2019 数据驱动大会的精英训练营上发表的<数据治理中的一些挑战与应用>主题演讲整理而成.本文将为你重点介绍: · 数 ...
CDGA|数据治理中数据如何分类分级呢？
CDGA|数据治理中数据如何分类分级呢? 数据分类是数据管理的第一步,如果企业不对数据进行分类分级,就谈不上数据治理和数据保护,甚至都不会清楚企业到底有哪些数据,更别说要了解哪些是敏感数据,以及他们都 ...
数据标准在数据治理中的意义
数据资产管理就是在上述从数据产生到数据整合.加工.使用的端到端价值实现过程中,管理各个环节的数据定义.格式.值域范围.业务规则.加工逻辑,安全权限以及数据之间的加工依赖关系等一系列事项.数据资产管理的 ...
工业数字化转型中的数据治理
随着数据资源的爆炸性增长,企业面临着数据标准不统一.数据信息分散.数据质量参差不齐.开发维护困难等问题,很难满足实时分析和决策的高要求.因此,数据治理对于工业互联网的发展至关重要. 1 数据治理发展现 ...
工业企业数字化转型中的数据治理
关注ITValue,看企业级最新鲜.最价值报道! 作者:汪洋王柯张桃宁韩蕊彭艳兵汤国强来源:<信息技术与网络安全>2022 年第 4 期随着数据资源的爆炸性增长,企业面临着 ...
谈谈数字化转型中数据治理框架及数据战略规划的关键要素
当前,数据作为新的生产要素提到了关键位置,众多组织认为数据是重要的战略资产.可是,如何发挥数据要素的生产力,数据资产又如何为企业创造价值,确有些无从下手.那么,这就是数据战略要解决的问题.企业怎么看待 ...
证券期货行业监管大数据治理方案研究
证券期货行业监管大数据治理方案研究蒋东兴1, 高若楠2, 王浩宇2 1. 中国证券监督管理委员会信息中心,北京 100033: 2. 中证信息技术服务有限责任公司,北京 100033 摘要:为充分发 ...
企业数据治理体系一文读懂
01 数据治理有哪些误区? 大数据时代,数据成为社会和组织的宝贵资产,像工业时代的石油和电力一样驱动万物,然而如果石油的杂质太多,电流的电压不稳,数据的价值岂不是大打折扣,甚至根本不可用,不敢用,因此 ...

数据治理中最常听到的名词有哪些？

数据治理中最常听到的名词有哪些？相关推荐

最新文章

热门文章