声明

本文是学习数据资产管理实践白皮书. 而整理的学习笔记,分享出来希望更多人受益,如果存在侵权请及时联系我们

二 . 数据资产管理活动职能

活动职能是数据资产管理的基本管理单元。数据资产管理包括数据模型管理、数据标准管理、数据质量管理等 10 个活动职能,覆盖数据资源化、数据资产化两个阶段。本章参考 PDCA 方法,从计划、执行、检查、改进四个环节着手,阐述数据资产管理活动职能的核心理念与实践要点。

( 一 ) 数据模型管理

数据模型 是指现实世界数据特征的抽象,用于描述一组数据的概念和定义。数据模型管理是指在企业架构管理和信息系统设计时,参考逻辑模型,使用标准化用语、单词等数据要素设计数据模型,并在企业架构管理、信息系统建设和运行维护过程中,严格按照数据模型管理制度,审核和管理新建和存量的数据模型。

数据模型管理的关键活动包括:

  • 数据模型计划 :确认数据模型管理的相关利益方;采集、定义和分析组织级数据模型需求;确定遵循数据模型标准与要求,设计企业级数据模型(包括主题域数据模型、概念数据模型、逻辑数据模型);
  • 数据模型执行 :参考逻辑数据模型开发物理数据模型,保留开发过程记录;根据数据模型评审准则与测试结果,由数据模型管理的参与方进行模型评审,评审无异议后发布并上线模型;
  • 数据模型检查 :确定数据模型检查标准,定期开展数据模型检查,以确保数据模型与组织级业务架构、数据架构、IT 架构的一致性;保留数据模型检查结果,建立数据模型检查基线;
  • 数据模型改进 :根据数据模型检查结果,召集数据模型管理的相关利益方,明确数据模型优化方案;持续改进数据模型设计方法、模型架构、开发技术、管理流程、维护机制等。

采用企业架构指导建立企业级数据模型,并采用一体化建模的方法,是提升数据模型业务指导性和模型质量的有效方式。 例如,华为成立了 EAC(企业架构委员会),参考企业架构设计了企业级数据模型(包括主题域数据模型、概念数据模型、逻辑数据模型),较好的描述和展示了业务流程与业务关系,同时,在一定时间内企业级数据模型保持稳定性,有效指导了新业务的方向探索与 IT 建设。此外,通过引入一体化建模的方法,从技术和机制上支持企业级数据模型与 IT 开发的协同,使物理数据模型与逻辑数据模型保持一致,要求物理数据模型的实体属性来自于数据标准池,并通过元数据对该开发过程进行记录与监控,提升了数据模型的一致性、规范性、可控性。

证券行业自 2019 年起陆续发布数据模 图 5 华为一体化数据建模示例**型行业标准,指导行业内企业数据模型构建,提高企业间数据模型互通性。**具体包括《证券期货业数据模型 第 1 部分:抽象模型设计方法》(JR/T 0176.1—2019)、《证券期货业数据模型 第 3 部分:证券公司逻辑模型》(JR/T 0176.3—2021)、《证券期货业数据模型 第 4 部分:基金公司逻辑模型》(JR/T 0176.1—2019)。

国家电网公司构建了统一数据模型(SG-CIM),从企业级视角对国家电网公司各专业原始业务数据进行统一建模,是打造企业级业务中台和数据中台的关键。SG-CIM 建设启动于 2009 年,历经 SG186、SG-ERP、 SG-ERP3.0 等信息化建设不同发展阶段,历经多年建设,形成了覆盖电网主营业务、企业核心资源、智能分析决策三大板块 14 个业务大类,包括 10 个一级主题域,90 个二级主题域,5472 个实体,80658 个属性。2021 年以来,国家电网持续优化完善 SG-CIM,聚焦营销 2.0、项目中台、人资 2.0 等重点建设项目,探索了项目建设与 SG-CIM 设计同步完善、协同一致的工作机制和设计方法。

( 二 ) 数据标准管理

数据标准 是指保障数据的内外部使用和交换的一致性和准确性的规范性约束。数据标准管理的目标是通过制定和发布由数据利益相关方确认的数据标准,结合制度约束、过程管控、技术工具等手段,推动数据的标准化,进一步提升数据质量。

数据标准管理的关键活动包括:

  • 数据标准管理计划 :确定数据标准管理相关负责人与参与人,开展数据标准需求采集与现状调研,构建组织级数据标准分类框架;制定并发布数据标准管理规划与实施路线;
  • 数据标准管理执行 :在数据标准分类框架的基础上,定义数据标准;依据数据资产管理认责体系,组织相关人员进行数据标准评审并发布;依托平台工具,应用数据标准(包括数据模型设计与开发、数据质量稽核等);
  • 数据标准管理检查 :对数据标准的适用性、全面性进行及时检查;依托平台工具,检查并记录数据标准应用程度;
  • 数据标准管理改进 :通过制定数据标准维护与优化的路线图,遵循数据标准管理工作的组织结构与策略流程,各参与方共同配合进行数据标准维护与管理过程优化。

推动数据标准应用于数据开发、数据质量管理,提升数据标准管理效果。 例如,交通银行一方面以新建系统或重构系统为契机,实施数据标准的“强管控”,基于数据建模工具打通 IT 开发需求与数据标准,要求 IT 人员应用统一建模工具实施开发,推动数据标准有效落地,另一方面以数据标准管理促进数据质量提升,基于数据标准编制数据质量规则,聚焦关键业务领域与关键质量问题,并对数据标准应用情况进行持续监控。业务术语是统一数据业务含义的关键,业务术语管理是数据标准管理的基础性工作。管理方面,企业已逐步形成统一管理的意识,重点关注业务术语的建设和应用,包括建立管理制度、管理流程并发布业务术语标准,并积极推广业务术语的宣贯和应用,促进业务术语的规范化、便捷化应用。技术方面,通过数据管理平台对业务术语进行统一归集、发布、查询和应用,确保在企业全局形成对核心业务概念的统一定义和使用。以中国工商银行为例,该行通过编制企业级的业务术语标准管理办法明确业务术语的命名规范、相关人员的职责以及应用原则等,建立集团信息标准系统对全行数据标准进行统一管理,定期组织相关培训以确保相关人员对组织内业务术语的理解一致。

( 三 ) 数据质量管理

数据质量指在特定的业务环境下,数据满足业务运行、管理与决策的程度,是保证数据应用效果的基础。数据质量管理是指运用相关技术来衡量、提高和确保数据质量的规划、实施与控制等一系列活动。衡量数据质量的指标体系包括完整性、规范性、一致性、准确性、唯一性、及时性等。

数据质量管理的关键活动包括:

  • 数据质量管理计划 :确定数据质量管理相关负责人,明确数据质量的内部需求与外部要求;参考数据标准体系,定义数据质量规则库,构建数据质量评价指标体系;制定数据质量管理策略和管理计划;
  • 数据质量管理执行 :依托平台工具,管理数据质量内外部要求、规则库、评价指标体系等;确定数据质量管理的业务、项目、数据范畴,开展数据质量稽核和数据质量差异化管理;
  • 数据质量管理检查 / 分析 :记录数据质量稽核结果,分析问题数据产生原因,确定数据质量检查责任人,出具质量评估报告和整改建议;持续测量全流程数据质量,监控数据质量管理操作程序和绩效;确定与评估数据质量服务水平;
  • 数据质量管理改进 :建立数据质量管理知识库,完善数据质量管理流程,提升数据质量管理效率;确定数据质量服务水平,持续优化数据质量管理策略。**数据质量管理遵循源头治理、闭环管理的原则。**源头治理方面,主要是指在新建业务或 IT 系统过程中,明确数据标准或质量规则,采用“一数一源”原则,与数据生产方和数据使用方确认,常见于对于数据时效性要求不高或核心业务增量数据等场景。闭环管理方面,主要是指形成覆盖数据质量需求、问题发现、问题检查、问题整改的良性闭环,对数据采集、流转、加工、使用全流程进行质量校验管控(如图 6 所示),持续根据业务部门数据质量需求优化质量管理方案、调整质量规则库,构建数据质量和管理过程的度量指标体系,不断改进数据质量管理策略。

图 6 数据全流程质量校验管控

交通银行以“管理可度量”、“问题可闭环” 以及“质量标签化”三大原则建立质量管理体系。 在管理度量方面,着重“以单为锚、量化反映”,建设以质量问题单为中心的线上化流程,支持解决时效等关键信息的量化统计,实现审批流转耗时降低 50%;在闭环管理方面,依托数据质量管理系统搭建企业级质量规则库,结合各类数据应用场景的质量需求,已编制质量规则 20000 余条,集中覆盖公司板块、财管领域、EAST5.0 等多个领域,同时针对数据湖历史数据和主题模型层开展常态化监控;在质量标签化方面,推进质量问题单与数据资产目录的联动,将质检信息同步至数据资产界面,方便业务人员基于质量状态标签前置判断数据资产可用性,加快数据资产应用价值释放。

( 四 ) 主数据管理

主数据(Master Data) 是指用来描述企业核心业务实体的数据,是跨越各个业务部门和系统的、高价值的基础数据。**主数据管理(Master Data Management,MDM)**是一系列规则、应用和技术,用以协调和管理与企业的核心业务实体相关的系统记录数据。

主数据管理的关键活动包括:

  • 主数据管理计划 :依据企业级数据模型,明确主数据的业务范围、唯一来源系统与识别原则;定义主数据的数据模型(或主辅数据源分布)、数据标准、数据质量、数据安全等要求或规则,并明确以上各方面与组织全面数据资产管理的关系;
  • 主数据管理执行 :依托平台工具,实现核心系统与主数据存储库数据同步共享;
  • 主数据管理检查 :对主数据质量进行检查,保证主数据的一致性、唯一性;记录主数据检查的问题;
  • 主数据管理改进 :总结主数据管理问题,制定主数据管理提升方案,持续改进主数据质量及管理效率。由于主数据具有数据价值高、稳定性强、数量少但影响范围广等特点,有“黄金数据”之称。随着参与业务活动的核心业务实体的种类逐步增多,主数据的管理范围将逐步扩大,主数据从“跨部门”拓宽至“跨组织”。例如,海尔集团主数据以“业态不同、标准相同”为总体方针,以“标准一致、流程完整”为目标,遵循“流程可控、质量闸口、定期监控、流程前置”的管理原则,依托集团 MDM 主数据管理系统实现了全集团层面跨组织跨业态的主数据统一管理。随着数字化转型进程的推进,在传统的产品 / 物料、供应商、客户等主数据的基础上,陆续将员工 / 组织、内部公司、银行机构、科目、链群、园区 / 建筑、工厂等数纳入集团主数据管理范围,目前已有 12 类标准化的主数据,由此打破了对主数据的传统认识,主数据的纳管将更注重业务场景和用户体验。

( 五 ) 数据安全管理

数据安全 4 是指通过采取必要措施,确保数据处于有效保护和合法利用的状态,以及具备保障持续安全状态的能力 。数据安全管理是指在组织数据安全战略的指导下,为确保数据处于有效保护和合法利用的状态,多个部门协作实施的一系列活动集合。包括建立组织数据安全治理团队,制定数据安全相关制度规范,构建数据安全技术体系,建设数据安全人才梯队等。

数据安全管理的关键活动包括:

  • 数据安全管理计划 :理解组织内外部数据安全需求与监管要求;制定数据安全管理制度体系,包括数据安全工作的基本原则、数据安全管理规则和程序、内外部协调机制等,并且明确个人信息保护管理制度(包括处理规则、合规审计制度、跨境传输安全评估体系等);定义并发布数据分类分级标准规范;
  • 数据安全管理执行 :依托平台工具,识别敏感数据,应用数据安全分类分级标准规范;根据数据的敏感级别,部署相应的数据安全防控系统或工具(如权限管控、数据脱敏、数据防泄露、安全审计等);
  • 数据安全管理检查 :监控数据在采集、存储、传输、加工、使用等环节的安全、隐私及合规状况等;组织进行内外部数据安全审计;
  • 数据安全管理改进 :总结数据安全问题与风险,评估数据安全管理相关标准规范的适用性、有效性,持续优化数据安全管理过程。

数据安全分类分级成为数据安全管理的基础性、关键性工作。 2021 年发布《数据安全法》,提出“国家建立数据分类分级保护制度,对数据实行分类分级保护”,正式确立了数据分类分级的保护要求;同年发布的《个人信息保护法》,要求“只有在具有特定的目的和充分的必要性,并采取严格保护措施的情形下,个人信息处理者方可处理敏感个人信息”;网信办在《网络数据安全管理条例(征求意见稿)》中进一步明确,将数

4 参考《中华人民共和国数据安全法》.

据分为一般数据、重要数据、核心数据,国家对个人信息和重要数据进行重点保护,对核心数据实行严格保护;各地区、各部门按照国家要求,对本地区、本部门以及相关行业、领域的数据进行分类分级管理。

此外,金融、工业、电信、医疗等行业纷纷出台相应的数据分类分级指南,以数据资产分类为基础,结合敏感数据分级规则,形成数据资产安全分类分级标准 。金融标准化管理技术委员会联合其行业主管部门已发布多项数据分类分级与保护相关的标准,如《金融数据安全 数据安全分级指南》(JR/T 0197-2020)、《金融数据安全 数据生命周期安全规范》(JR/T 0223-2021)等,还有多项处于研制阶段金融行业标准,如《金融数据安全 数据安全评估规范(征求意见稿)》,从全量个人信息、个人信息安全影响、个人金融信息、金融业数据、数据生命周期、网络数据、重要数据以及数据安全评估的维度对金融数据分类分级与保护做出了规定。工业和信息化部于 2020 年印发了《工业数据分类分级指南(试行)》,旨在指导企业全面梳理自身工业数据,提升数据分级管理能力,促进数据充分使用、全局流动和有序共享。中国通信标准化协会于 2020 年发布的《基础电信企业数据分级分类方法》(YD/T 3813-2020)等行业标准,进一步提出了针对电信企业的数据分类分级方法。医疗行业在 2020 发布了《信息安全技术 健康医疗数据安全指南》,将健康医疗数据可被分为个人属性数据、健康状况数据、医疗应用数据、医疗支付数据、卫生资源数据和公共卫生数据 6 类,根据数据重要程度、风险级别以及对个人健康医疗数据主题可能造成的损害和影响将数据安全划分为五级。

图 7 数据安全分类分级流程与结果

平安银行引入 AI 技术和管理平台,提升数据分类分级效率,满足国家和监管机构的相关法规和要求 。由于数据安全分类分级的对象需要细化到字段级,而海量金融数据面临成本与时效的巨大挑战,此外,随着金融行业的业务领域不断扩大、数据分布越来越广,将导致数据字段识别不完整、数据打标不全面的情况。为解决以上问题,平安银行结合自身数据治理条件和数据特点,制定一套细化到数据项(字段级)的分类分级标签,形成与之对应的覆盖全生命周期各环节的保护措施,采用自上而下(即数据库模型设计阶段,从逻辑模型进行打标,对应物理表继承安全标签)、自下而上(即扫描物理表数据,对物理表字段进行分类分级打标)结合的方法,积极研发 AI 模型,开发出数据安全分类分级 AI 打标及管理平台。

个人信息保护成为数据安全管理关注的焦点 。《个人信息保护法》将自然人姓名、出生日期、身份证件号码、生物识别信息等全面纳入保护范围,为组织确定了个人信息保护范畴与要求。系统性识别业务涉及的个人信息处理活动,充分掌握个人信息收集、存储、流通等活动,并作为数据安全标准规范的建立依据。在确保个人信息安全的前提下,引入多方安全计算、联邦学习等隐私计算技术,开展数据资产流通。

图 8 平安银行双向数据分类分级打标方法

( 六 ) 元数据管理

元数据(Metadata) 是指描述数据的数据。**元数据管理(Meta Data Management)**是数据资产管理的重要基础,是为获得高质量的、整合的元数据而进行的规划、实施与控制行为。

元数据管理的关键活动包括:

  • 元数据管理计划 :明确元数据管理相关参与方,采集元数据管理需求;确定元数据类型、范围、属性,设计元数据架构,技术元数据与数据模型、主数据、数据开发相关架构一致;制定元数据规范;
  • 元数据管理执行 :依托元数据管理平台,采集和存储元数据;可视化数据血缘;应用元数据,包括非结构化数据建模、自动维护数据资产目录等;
  • 元数据管理检查 :元数据质量检查与治理;元数据治理执行过程规范性检查与技术运维;保留元数据检查结果,建立元数据检查基线;
  • 元数据管理改进 :根据元数据检查结果,召集相关利益方,明确元数据优化方案;制定改进计划,持续改进元数据管理的方法、架构、技术与应用等内容。

元数据贯穿数据资产管理的全流程,是支撑数据资源化和数据资产化的核心。首先 ,元数据从业务视角和管理视角出发,通过定义业务元数据和管理元数据,增强了业务人员和管理人员对于数据的理解与认识。其次,技术元数据通过自动从数据仓库、大数据平台、ETL 中解析存储和流转过程,追踪和记录数据血缘关系,及时发现数据模型变更的影响,有效识别变更的潜在风险。最后,元数据可作为自动化维护数据资产目录、数据服务目录的有效工具。例如,广东电网依托元数据管理平台监控元数据分布情况,获取热门异常应用表,并查看元数据表变更趋势、字段变更趋势等信息,实现对重点应用数据链路的实时在线监测、异常定位、预警分析、工单处理。

主动元数据(Active Metadata)通过利用机器学习和知识图谱等底层人工智能技术,实现对数据采集、内容解析、使用分析等元数据的“主动”管理。作为元数据概念的延伸和扩展,主动元数据是对数据的使用者、相关数据管理活动、以及数据基础设施等方方面面情况的数据,支持持续分析数据的一致性和异常情况。

( 七 ) 数据开发管理

数据开发 是指将原始数据加工为数据资产的各类处理过程。数据开发管理是指通过建立开发管理规范与管理机制,面向数据、程序、任务等处理对象,对开发过程和质量进行监控与管控,使数据资产管理的开发逻辑清晰化、开发过程标准化,增强开发任务的复用性,提升开发的效率。

• 数据开发管理的关键活动包括:

  • 数据开发管理计划 :制定数据集成、开发、运维规范;
  • 数据开发管理执行 :建设集成了数据集成、程序开发、程序测试、任务调度、任务运维等能力的一体化数据开发工具;根据数据集成规范,进行逻辑或物理的数据集成;根据数据使用方的需求,进行数据开发;
  • 数据开发管理检查 :监控数据处理任务的运行情况,并及时处理各类异常;
  • 数据开发管理改进 :定期进行数据集成、开发、运维工作复盘,并以此为基础,对相关规范进行持续迭代。**依托统一数据开发平台,从技术侧和管理侧提升数据开发管理效率。**例如,中国工商银行搭建了大数据开发工作站和研发与测试管理系统,对数据开发过程进行效率管控。大数据开发工作站创造了生产工作区,与常规生产运行资源、数据资源等解耦隔离,构建端到端的数据服务流水线。同时,在现有 Hive、MPPDB 等批量加工的基础上,进一步满足流式数据加工、联机数据访问服务的开发场景,将语言由 SQL 向 Spark、Python 等扩展。测试管理系统建立了数据开发需求管理指标,包括需求项平均周期、开发前置时间、开发节奏等。此外,采用“统计过程控制(Statistical Process Control)”的理念,使用统计方法对开发过程与任务进行实时质量监控。相较于 2020 年第三季度,2021 年第三季度数据需求的平均研发周期大幅缩短,数据需求响应效率提升

60% 左右。

图 9 工商银行数据开发流程示例

( 八 ) 数据资产流通

对于组织而言,数据资产流通是指通过数据共享、数据开放或数据交易等流通模式 ,推动数据资产在组织内外部的价值实现。数据共享是指打通组织各部门间的数据壁垒,建立统一的数据共享机制,加速数据资源在组织内部流动。数据开放是指向社会公众提供易于获取和理解的数据,对于政府而言,数据开放主要是指公共数据资源开放,对于企业而言,数据开放主要是指披露企业运行情况、推动政企数据融合等。数据交易是指交易双方通过合同约定,在安全合规的前提下,开展以数据或其衍生形态为主要标的的交易行为。

数据共享、数据开放、数据交易的区别在于交换数据的属性与数据交换的主体范围。对于具备公共属性的数据 ,在组织体系内部流通属于数据共享,如政府机构之间的数据交换,在组织体系外部流通属于数据开放,如公共数据向社会公众开放。对于具有私有(商品)属性的数据,在组织内部流通属于企业数据共享,如企业部门间数据交换,在组织外部流通属于数据交易。需要说明的是,并非所有的数据交易均以货币进行结算,在遵循等价交换的前提下,不论是传统的点对点交易模式,或是数据交易所的中介交易模式,由“以物易物”延伸的“以数易数”或“以数易物”同样可能存在。

公共数据开放是指公共管理和服务图 10 数据共享、数据开放、数据交易的区别机构在公共数据范围内,面向社会提供具备原始性、可机器读取、可供社会化再利用的数据集的公共服务。数据开放平台是公共数据开放的重要载体,复旦大学的中国开放数林指数网站显示,截至 2021 年 10 月,我国已有 193 个省级和城市的地方政府上线了数据开放平台,其中省级平台有 20 个(含省和自治区,不包括直辖市和港澳台),城市平台 173 个(含直辖市、副省级与地级行政区)。《中国公共数据开放图谱》(2022)显示,总体上我国公共数据平台建设呈现出从东部逐渐向西部扩散的发展趋势,各个地区开放的数据集、数据接口及数据总量存在明显差距。

上海市公共数据开放能力走在全国前列。 上海市于 2014 年起,出台年度“政府数据资源向社会开放工作计划”,通过分析多个主题下数据的需求度和成熟度,结合社会需求,详细制定了当年的总体思路、重点工作任务和工作要求,并向社会公开。为贯彻落实《上海市数据条例》《上海市公共数据开放暂行办法》等有关法律法规,加快推进本市公共数据更高水平开放,上海市经济和信息化委员会于 2022 年 9 月牵头起草了《上海市公共数据开放实施细则(征求意见稿)》,对立法目的和依据、适用范围、概念意涵、工作原则以及职责分工进行规定,进一步规范上海市公共数据开放制度举措。上海市经济和信息化委员会印发的《2022 年上海市公共数据开放重点工作安排》提出开放服务质量有效提升,构建以需求为导向的开放数据治理机制,明确了包括公共数据及时更新率、高质量数据集数量、样本开放数据集数量、开放渠道等方面的要求。**制度创新和技术创新双轮驱动数据交易行业实现“规范化发展”。**制度创新方面,一方面 2022 年 6 月

22日中央深改委第二十六次会议强调“要促进数据高效流通使用、赋能实体经济,统筹推进数据产权、流通交易、收益分配、安全治理,加快构建数据基础制度体系”,为我国数据流通产业发展提供了根本遵循重要思路。同时,中央、地方密集出台多项政策,不断规范数据流通产业发展秩序。技术创新方面,以隐私计算为代表的数据流通技术提供了“数据可用不可见”“数据可控可计量”的数据服务新范式,在保障数据安全前提下,实现了数据流通效果,从而为需求方企业安全地获取和利用外部数据提供了技术可能。

数据交易需求持续增加,数据交易相关鼓励政策文件不断推出,我国各地以多种形式开展了数据交易的探索和实践,我国数据交易市场进入了新的发展阶段。 2015 年 4 月,全国第一家大数据交易所——贵阳大数据交易所批准成立。在之后的几年中,武汉、哈尔滨、江苏、西安、广州、青岛、上海、浙江、沈阳、安徽、成都等地纷纷建立大数据交易所或交易中心,提供数据交易服务。目前,我国的数据交易机构已超过 20 个,均由各地政府牵头协调,亚信数据等一批数据运营服务企业提供技术和运营支持。

随着数据交易市场的逐步成熟,交易所服务模式逐渐由“撮合交易”转为“数据增值”。 数据增值服务为大部分中小企业提供了一种性价比较高的数据获取方式,解决中小企业面临的数据专业人才稀缺等难题。此外,数据增值服务模式相较于简单的撮合交易模式,产生了一些从事“交易中介 + 加工分析”服务的新业态,引入了数据加工过程中的各类服务商角色,一些新兴机构和企业通过数据聚合、融通、去识别处理、分析挖掘等新型服务方式,对于推动数据产业发展起到了促进作用。

金融、互联网行业的流通实践不断深化。 金融行业中,风险控制要求极为严格,各大金融机构以雄厚的资金实力做支撑,早已成为数据要素市场的主要参与者。互联网行业中,许多头部企业已对外提供众多数据接口或数据产品,以满足中小互联网企业或其他行业研发应用、精准营销、智能服务等需求。调研显示,当前金融机构及大型互联网企业普遍建立了统一的部门或团队管理外部数据,头部企业每年的外部数据采购额已经达到了亿级规模。根据推算,仅银行及互联网金融行业的外部数据采购额即可突破百亿规模。

专栏二:数据资产交易模式

数据交易所作为可信任的数据交易“中介”,为企业探索数据交易提供了一个统一的可信任“窗口”。 北京国际大数据交易所于 2021 年 9 月上线了数据交易平台 IDeX 系统,与北京市公共数据开放平台互通,扩大吸纳公共数据资源的范畴,具备数据资产交易多项功能,并利用隐私计算、区块链、智能合约、数据确权标识、测试沙盒等技术,实现全链条交易服务。贵阳大数据交易所先后制定了《数据确权暂行管理办法》《数据交易结算制度》《数据源管理办法》《数据交易资格审核办法》《数据交易规范》《数据应用管理办法》等一系列交易规则,为推动数据交易良性发展奠定了制度基础。

将原始数据到数据资产过程作为主线,创新数据交易标的形式。 传统数据交易标的多是API、统计报告等形式,实际上,数据加工的投入技术(如管理工具、算法模型等技术服务)和中间产物(数据模型、数据规则库、数据价值链、运营策略、定价机制、交易合同等数据解决方案)也可作为数据产品。此外,可引入数据生态多方参与,推动数据生态与数据交易相互促进。具体如图 11 所示。根据深圳数据交易所最新产品形态分类估计,在已备案登记的数据交易标的中,数据产品数量居多,约占登记备案交易总数量 56%;数据服务位居第二,约占 25%。

从金额上看,数据工具金额最高,占比达 42%,数据产品位居第二,占比 36%。气象数据作为关键要素的气象服务,可以广泛赋能于各行各业,成为数据交易所构建数据产品的优先选择。 贵州省气象局于 2022 年印发《贵州省气象数据流通交易管理办法(试行)》(以下简称《办法》),将为规范气象数据在对外服务中的流通交易活动,保障气象部门和参与气象数据生产加工主体的权益提供重要支撑。上海市气象局数据产品“海洋气象传真图”于 2022 年 12 月在上海数据交易所完成挂牌,为用户提供准确的海平面气压场、风场、卫星云图、台风路径图等预报产品,有助于保障船舶安全航行,减少因灾害性天气影响导致货轮延误造成的财产损失。

( 九 ) 数据价值评估

狭义的数据价值是指数据的经济效益,广义的数据价值是在经济效益之外,考虑数据的业务效益、成本计量等因素,我们聚焦于广义的数据价值。数据价值评估是指通过构建价值评估体系,计量数据的经济效益、业务效益、投入成本等活动。数据价值评估 是数据资产管理的关键环节,是数据资产化的价值基线。目前,国内外相关标准化组织、财会领域组织、技术咨询服务企业均从多个视角开展积极探索研究,相关研究成果见表 2。当前业界对于数据价值评估主要聚焦于三个方面:一是数据资产估值,直接量化体现数据价值;二是数据资产会计核算,作为企业的核心资产进入资产负债表;三是多角色参与数据要素生态,进入数据要素流通的大循环中。

多数企业对于数据价值评估的认识和实践集中于第一个方面。 以浦发银行为代表,通过编制《数据资产经营报表》,对数据资产的规模、价值、运营能力和管理水平进行全面度量,客观评价数据在典型业务场景下的贡献程度,清晰展示数据对于业务质效提升、经营模式变革的推动力,形成数据管理与数据应用的良性循环。**作为数据要素市场的管理方的政府机构和行业协会则聚焦于第二和第三方面。**财政部会计司于在 2022 年发布了《企业数据资源相关会计处理暂行规定(征求意见稿)》,就数据交易双方如何进行会计处理、数据资源是否可以作为资产入账等问题提出会计处理方法;中国资产评估协会于 2022 年发布了《数据资产评估指导意见(征求意见稿)》,规范资产评估机构及其资产评估专业人员在数据资产评估业务中的实务操作,明确了评估对象、数据质量评价、评估方法、披露要求等。**以光大银行、南方电网为代表的市场主体也结合自身数据资产管理建设成果进行了会计核算和数据定价相关探索。**光大银行发布了《商业银行数据资产会计核算研究报告》,提出将数据资产使用权和数据资产经营权列入资产负债表中无形资产二级科目进行核算,并给出“衍生性数据”和“数据工具”的会计核算和入表方案。南方电网首创了能源行业首个数据资产定价方法,实现电网数据资产“明码标价”,开展数据应用价值评估,量化部门及单位数据价值贡献度,创新建立数据资产入表管理机制,率先设立了数据资产会计科目,明确了数据资产的入表确认规则标准和入表管控策略。

政策发文/研究单位 时间 政策/研究成果 评价及参考价值
财政部会计司 2022.12 《企业数据资源相关会计处理暂行规定(征求意见稿)》 制定数据资源相关会计处理暂行规定,将有助于进一步推动和规范数据相关企业执行会计准则,正确反映数据相关业务和经济实质
光大银行 2022.11 《商业银行数据资产会计核算研究报告》 提出将数据资产使用权和数据资产经营权列入资产负债表中无形资产二级科目进行核算,并给出“衍生性数据”和“数据工具”的会计核算和入表方案
浦发银行 2021.10 《商业银行数据资产管理体系建设实践报告》 从构建商业银行数据资产管理体系视角出发,提出了数据价值评估框架
南方电网 2021.12 《南方电网数据资产管理体系白皮书》. 在数据应用价值评估的基础上,构建内部各部门、各分子公司数据贡献度结算机制,发布定价方法,指导数据收益测算,设立数据资产会计科目,明确数据资产的入表确认规则标准和入表管控策略
国家标准化管理 2020 年 发布国家标准《电子商务数据资产评价指标体系》(GB/T 37550- 2019)。 提出数据资产应用效果的分析,考虑数据资产的使用对象、使用次数和使用效果评价,在评估数据资产的运营效果时有参考价值。
中国资产评估协会 2022.6 《数据资产评估指导意见(征求意见稿)》 规范资产评估机构及其资产评估专业人员在数据资产评估业务中的实务操作,明确了评估对象、数据质量评价、评估方法、披露要求等
2019.12 《资产评估专家指引 第 9 号——数据资产评估》。 参考无形资产评估为数据资产评估提出改良成本法、改良收益法以及改良市场法三种评估方法
Gartner 2020 年 提出市场价值、经济价值、内在价值、业务价值、绩效价值、成本价值、废弃价值、风险价值共八大维度的信息资产价值评估模型。 Gartner 的评价框架从多角度评估数据资产的多方面价值,分析维度较完整,具有很强参考价值。

表 2 国内外数据价值评估政策与研究总结

目前数据价值评估的思路主要沿用传统资产评估方法(成本法、收益法、市场法),但是注意到各评估方法的适用对象和可行程度存在差异。 对于成本法,考虑到成本难以分摊,其适用对象是企业全部数据资产而非特定数据产品,测算结果是数据资产管理的总体投入成本,包括获取成本、加工成本、运维成本、管理成本、风险成本等方面。对于收益法,其适用对象是特定数据应用场景下的数据产品,测算结果是引入数据资产所带来的业务效益变化。市场法以数据定价和数据交易为主要目的,其适用对象同样是单一数据产品,通过对比公开数据交易市场上相似产品的价格,同时考虑成本和预估收益,对数据产品进行价格调整。

对于以上三种方法而言,考虑到数据自身特性,均需对测算结果进行一定程度优化调整,影响因素主要包括数据质量、数据安全、数据应用等。通过构建数据质量和数据安全计分规则,以及数据应用的场景范围、用户数量、使用效果等统计指标,充分考虑数据在不同使用场景和群体中所存在的需求差异,提升数据价值评估的准确性。

专栏三:数据价值评估体系

综合成本法、收益法和市场法,考虑数据自身特性,构建包含内在价值、成本价值、经济价值、市场价值四个维度的数据价值评估体系。

  1. 内在价值

内在价值是指数据本身所蕴含的潜在价值,通过数据规模、数据质量等指标进行衡量。评估数据资产内在价值是评估数据资产能力的基础,对于数据资产其他维度价值评估具有指导作用。

核心计算公式 :内在价值 =( 数据质量评分 + 服务质量评分 + 使用频度评分 )/3* 数据规模。

数据质量评分是从数据的完整性、准确性、规范性等质量维度统计数据的通过率情况,服务质量评分是从业务应用角度统计数据覆盖度和使用友好性情况,使用频度评分是统计数据资产的使用频度情况,数据规模是统计企业累计数据资产总量。

  1. 成本价值

数据资产的成本价值指数据获取、加工、维护和管理所需的财务开销。数据资产的成本价值包括获取成本、加工成本、运维成本、管理成本、风险成本等。评估数据资产成本价值可用于优化数据成本管理方案,有效控制数据成本。

核心计算公式 :成本价值 = 获取成本 + 加工成本 + 运维成本 + 管理成本 + 风险成本

获取成本 是指数据采集、传输、购买的投入成本;加工成本是指数据清洗、校验、整合等环节的投入成本;运维成本是指数据存储、备份、迁移、数据维护与 IT 建设的投入成本;管理成本是指围绕数据管理的投入成本;风险成本是指因数据原因导致数据泄露或外部监管处罚所带来的风险损失。

数据资产的成本价值评估以数据项目为单元进行核算。需要说明的是,数据资产成本价值评估各项指标可能与传统项目成本或 IT 成本有所重叠,因此,可参考数据资产管理的标准化流程,进一步界定成本价值评估各类指标的数据资产贡献比例,提升成本价值评估的准确性。

  1. 经济价值

数据资产经济价值指对数据资产的运用所产生的直接或间接的经济收益。此方法通过货币化方式计量数据资产为企业做出的贡献。

核心计算公式 :经济价值 = 业务总效益 * 数据资产贡献比例 业务总收益是指提升营业收入和降低经营成本。

由于“数据资产贡献比例”的计算存在一定难度,可考虑利用业务流和价值流对业务总效益进行拆解,并对应数据流,进一步界定该业务价值环节的数据资产贡献比例。

4. 市场价值 市场价值是指在公开市场上售卖数据产品所产生的经济收益,由市场供给决定数据资产价值。随着数据产品需求的增加以及数据交易市场规则的建立,该方法可行性与准确性逐步提升。 核心计算公式:市场价值 = 数据产品在对外流通中产生的总收益

( 十 ) 数据资产运营

数据资产运营 是指通过对数据服务、数据流通情况进行持续跟踪和分析,以数据价值管理为参考,从数据使用者的视角出发,全面评价数据应用效果,建立科学的正向反馈和闭环管理机制,促进数据资产的迭代和完善,不断适应和满足数据资产的应用和创新需求。

建立可共享可复用的数据资产体系,构建多层级数据资产目录,是开展数据资产运营的基础和前提。中国移动 打造了“共建共享共维”的数据资产体系,面向全集团提供了位置洞察、内容洞察、客户标签、统一指标等核心数据能力,以及提供数据采集、数据储算、数据开发等工具能力和产品推荐、风控识别等算法能力。同时,打造了多层级多场景的数据资产目录,提供完整的数据定义、数据说明、数据样例、数据责任人等业务、技术、管理信息,增强数据可理解性,支持关键字、主题、业务标签、热度等多引擎检索,形成高并发 API、交互式查询、文件服务、实时消息分发等多服务形态,数据可直接订购下单。目前已沉淀超过一万个高价值中间模型,

API 月度调用量超过 40 亿次,赋能内外部超过 200 家单位近 500 个大数据项目。

丰富数据服务形式,满足内外部数据使用方需求,提升数据资产运营效果。中国农业银行 通过搭建覆盖财会、资负、风险、零售、公司、机构等业务的指标库、标签库、智能模型库,为总分行及时提供包含绩效考核指标、营销客户画像、客户 AUM 等在内的数据服务,并提供数据探索、模型训练发布、报表设计发布、可视化结果发布等能力。浦发银行打造 Data Ocean 数据经营生态圈,赋能数字化转型进程。浦发银行以海洋为品牌主题,以客户体验为中心,以“客户智见、产品智营、渠道智投和管理智控”为核心驱动,打造 Data Ocean 数据产品系列,孵化 52 个子产品,覆盖零售、对公、金融市场、精准营销、客户经营、风险预警、管理决策等金融场景,让数据资产价值持续释放,向行内、集团、数据合作生态圈开放共享,赋能浦发银行生态圈数字化转型的同时,也为商业银行数字化转型提供了一种新的思路。

扩宽数据用户,扩大数据场景是开展数据资产运营有效方式。招商银行 转变传统的卡片模式,以 App 视角上线“用户成长体系”,引入各类满足客户需求的金融与泛金融权益,打通理财、信贷和信用卡等系统,构建“网点 +App+ 场景生态”用户体验,并建立“北极星”指标月活跃用户 (MAU) 进行持续监测。目前,App 的 MAU 达 1.07 亿户,23 个场景的 MAU 超过千万,两大场景的交易额近 100 亿元。创新商业模式,促进数据价值变现。以南方电网为例,一是打造对外数据产品体系。开发建设深圳供电局“绿电历”、南网互联网公司“南网融 e”等电力大数据产品 134 项,全力推动构建开放共享、有序竞争、分工协作、互利共赢的数据生态。二是建设对外数据服务共享平台。依托数据对外门户建设,打造“一个数据中心、一套数据供给、一个数据对外门户、N 个数据产品”的数据对外服务体系,确保数据资产管理体系和数据资产运营机制落地。三是建立数据结算和收益分配机制。明确利益计量与分配的方法原则,创新数据计费、数据账务和数据结算方法,探索数据产品商业模式,最终实现数据资产价值变现。

图 12 南方电网数据商业模式示意图

政务数据授权运营属于政府数据向社会流通的一种新模式,对于推动政府数据开发利用、释放数据的潜藏价值起到关键作用。 《中华人民共和国国民经济和社会发展第十四个五年规划和 2035 年远景目标纲要》中明确提出“开展政府数据授权运营试点”,预示着政府数据授权运营正式上升为国家战略。相较于政府直接开放公共数据而言,授权运营向外提供的数据产品和服务基本是有偿的,一定程度上提高政府开放数据的市场化程度,丰富政务数据开放生态圈。目前,多地纷纷响应,但是大多数地方尚处于计划筹备阶段,北京、上海等省(市)推动力度相对较大。其中,北京以金融公共数据授权运营为起点,政府数据以专区的形式交给特定的企业运营,明确提出支持各领域建立数据资产运营公司,将数据运营的理念从政府数据扩大到了各个领域;上海市被授权运营主体的开发利用活动需经过市政府办公厅组织评估,形成的产品或服务需通过授权运营平台开展,被授权运营主体使用市大数据资源平台时应向平台建设方支付相应的平台服务费。

延伸阅读

更多内容 可以 数据资产管理实践白皮书. 进一步学习

联系我们

DB15-T 1591-2019 政务数据生命周期管理规范 内蒙古自治区.pdf

数据资产管理活动职能相关推荐

  1. 大咖分享|姚秀清:数据资产管理平台如何建设?

    讲师介绍 姚秀清(秀清) 华南交付中心负责人&数据专家.10余年行业数据经验,擅长为企业数字化转型提供专业的技术方案和实施服务,帮助企业高效的建立数据中台,提高企业数据资产的使用效率.曾服务客 ...

  2. 企业级数据资产管理平台规划建设方案

    数据是资产的概念已经成为行业共识.然而现实中,企业对数据资产的管理和应用往往还处于摸索阶段,数据资产管理面临诸多挑战.同时,数据资产管理在实践过程中,还需要依托具体的软件工来执行,那么如何站在大数据视 ...

  3. 四步骤厘清数据资产管理实践

    本章定义了一种数据资产管理实践的通用步骤:"统筹规划→管理实施→稽核检查→资产运营".需要说明的是,各步骤之间并无严格的先后顺序,组织可结合自身情况在各阶段制定合理的实施方案. 图 ...

  4. 大数据的淘金之旅,数据治理之数据资产管理

    写在前面: 这是一个系列文章,沉淀了我在数据治理领域的一些实践和思考.共分为5篇.分别是: 一.大数据治理:那些年,我们一起踩过的坑 主要讲讲数据治理工作中常见的一些误区. 二.要打仗,你手里先得有张 ...

  5. 航司企业级大数据规划(方法论) - 企业级数据资产管理

    https://www.toutiao.com/i6654889698344829454 前言 数据成为资产,已经是行业共识,甚至有人建议将数据计入资产 负债表.但如果对比实物资产,对数据资产的管理, ...

  6. 企业数据资产管理落地实施方案

    人类社会已经悄然进人一个数据为王的时代," 数据资产"正逐步成为影响未来产业兴衰的主要决定性因素之一. 需要指出的是,尽管"数据即资产" 已经成为当前主流的产业 ...

  7. 大数据资产管理在腾讯游戏的实践

    | 导语 数据是资产的概念已经成为行业共识.然而现实中,对数据资产的管理和应用尚处于摸索阶段,企业数据资产管理面临价值评估难.数据标准混乱.数据质量不高.数据安全威胁等诸多挑战.互娱从2013年开始启 ...

  8. 什么是数据资产管理?5个角度帮你参透数据资产管理

    据研究表明,在数据分析的整个过程中,数据准备会占大约80%的时间.怎样把数据收集起来,并确保数据可直接用于分析展示,是最麻烦.最耗时的事情,这在企业级的数据分析中也被称为是"最脏最累&quo ...

  9. 数据资产管理的5个步骤和6个要素

    转自:数据学堂,来源:奇点云 全文共计5318字,预计阅读时间8分钟 数据资产(Data Asset)是指由组织(政府机构.企事业单位等)合法拥有或控制的数据资源,以电子或其他方式记录,例如文本.图像 ...

最新文章

  1. ISME:林科院袁志林等-冷杉优势真菌共生发育的基因家族趋同演化及平衡选择机制...
  2. ajax提交Form
  3. 16进制颜色透明_PPT | 如何快速提取图片颜色之人生太卷
  4. VTK:Utilities之ExtractArrayComponent
  5. Redis高频面试笔记:java版本号比较算法
  6. ZZULIOJ 1109: 数根(函数专题)
  7. NumPy Cookbook 带注释源码 五、NumPy 音频和图像处理
  8. R 语言在数据处理上的禀赋之——独特的数据类型
  9. Permission Denial: requires android.permission.CHANGE_CONFIGURATION
  10. mach内核和linux对比,海思Hi3511/Hi3512 Linux内核与标准内核差异说明
  11. [python]python jieba 模块
  12. 机器学习建模商务合作
  13. 高等数学(同济大学)
  14. 广义预测控制 matlab,基于MATLAB的广义预测控制设计方法.pdf
  15. “死机短信”缠上山寨手机 往下翻就死机黑屏
  16. MTK6589反向修改拼包法操作流程
  17. 常用Quartz cron表达式例子
  18. M26模块TCP透传数据流程笔记
  19. android 高德地图全套,android快速集成高德地图
  20. 苹果手机7P ios14 nfc怎么复制门禁卡

热门文章

  1. spams工具箱在MATLAB下的安装编译
  2. 目录项dirent详解及示例
  3. linux下Tomcat配置提示权限不够解决办法
  4. pdf文件怎么转换成excel格式?
  5. 安卓控件TextSwitcher的使用(实现Textview的上下滚动)
  6. 51php 数据不同步,tp51用模型实现数据库的新增更新和删除
  7. 智慧安防小区管控系统解决方案(ppt可编辑)
  8. 不断挖掘深层次的含义是软文推广长盛不衰的秘诀
  9. 北京购车摇号满两年送车牌
  10. c语言 删除数组中的一个(某个)元素