数据资产盘点的流程和方法
对于政企而言,数据是通过驱动业务发展和提升经营质效服务,从而实现其价值的,“数据即资产”“数据有价”的观念已逐渐成为行业共识。怎样识别数据资产、有效管理和运营数据资产,利用现有的数据资产创造价值,也是数据治理中的一项重要工作和目标。
和实物资产一样,数据资产也需要通过盘点,对必要的信息进行记录。而数据资产盘点是目前解决政企“无数据可用”、“无可用数据”两大痛点的主要手段之一,通过对政企拥有的数据进行盘点点将帮助弄清楚以下问题:
1. 有哪些数据?关注数据的分类;
2. 有多少数据?关注数据的存量、增量;
3. 数据存储在什么地方?关注数据的存储和取用方式;
4. 数据是由谁在管理?关注数据的归属部门和责任人;
5.识别哪些是重要数据,哪些是敏感数据?关注数据的分级、共享条件和范围。
数据资产盘点的内容
政企的数据散落在各个异构系统、甚至业务人员电脑中,数据结构、数据类型、存储形式、敏感级别、重要程度各不相同,整体看起来就像是一团乱麻的线,如何盘点理出头绪并不容易。
数据资产盘点到底要盘点啥?数据盘点的范围一般从三个角度定义:
组织范围:盘点要覆盖哪些组织和部门,例如:集团本部、集团+分子公司等。
业务范围:盘点哪些业务的数据,例如:生产业务、采购业务、营销业务、财务业务、人力资源业务等。
系统范围:盘点哪些应用系统的数据,例如:ERP系统、MES系统、SCM系统、CRM系统、HR系统等。
基于不同的数据来源,根据不同的划分策略,盘点的内容侧重会有所不同:
基础数据:需要盘点数据分布在哪些IT系统,区分其中哪些是需要跨系统流转、共享使用且变化缓慢的主数据信息,哪些是与IT系统定位相匹配的业务流程交易信息。
衍生数据:需要盘点数据的不同应用场景,比如监管、统计、内部管理等等。一方面根据衍生数据基于不同使用场景进行分类,另一方面通过盘点,梳理对基础数据的使用热度。
外部数据:需要盘点外部数据需求、数据类型、数据来源、采集频率、获取成本、数据质量以及数据价值评估方式等。
以银行一个“客户中文姓名”的基础数据项为例,通过数据资产盘点,我们可以得到关于数据资产的以下方面信息:
数据资产盘点的流程和方法
以盘清家底为根基,梳理分类、规范管理、根治问题、持续应用为目标,构建业务系统数据资源目录,发布数据标准,有效推进数据资源共享和应用,数据资产盘点一般可分为“梳、规、盘、用”四大流程。
1、梳理需求,制定计划。数据盘点要有计划的一步步推进,明确盘点范围、盘点目标、盘点内容、盘点人员、时间计划等。
2、规范模板,制度管理。加强数据管理制度建设,制定数据梳理模板并定义数据资产标准项,推进数据标准和规范建设。
3、盘点资产,层层推进。从业务视角对数据资源进行梳理和规划,从技术视角对系统数据进行盘点,产出数据资产盘点成果物。
4、资产应用,开放服务。落地数据资产目录,将数据资产以“服务”的形式进行发布,实现数据资产的共享以及面向外部的数据开放。
可以说,数据资产盘点的一个重要成果物是“数据资产目录”。那盘点具体有什么方法呢?
对数据进行盘点,一方面通过业务视角的自上而下演绎,确保数据可以按照业务的视角进行组织(需要用到业务元数据,对数据进行主题分类、属性分类、含义描述)。
另一方面结合技术视角自下而上归纳(需要用到技术元数据,对数据的存储分布、血缘关系等进行描述),并通过建立目录中数据项与系统信息项的映射关系,保证每个数据资产项对应可以在真实的信息系统中查找到。
不过也如超市库管员会用传送带、扫码枪这些辅助工具进行盘点一样,高度复杂的业务以及庞杂的信息系统,单纯依靠手工方式对各个库表结构、ETL关系等技术元数据进行采集十分耗费时间和人力,需要采用一些技术工具实现自动化采集、版本管理,包含数据地图、血缘分析、影响分析等元数据的应用功能。
数据资产盘点通用方案
如何帮助政企在数据资产盘点中化被动为主动,基于需求痛点,通过数十个项目沉淀出来一套数据资产盘点通用方案,助力搭建专业的数据资产管理平台,快速盘清数据资源家底,同步构建常态化的数据盘点工作机制,推进数据管理与企业其他工作的有机融合,实现数据资源的全生命周期可视化管理。
此方案内容包括元数据摸底、元数据维护、数据资产分类框架、数据资产目录构建,方案架构如下:
梳理数据来源,摸清数据现状
先定义数据资产,配置数据资产属性。再通过对接企业业务系统、数据湖或者数据仓库,采集元数据自动获取原始的企业数据字典及数据之间的关系,形成企业元数据地图。
精细化数据分级分类,规范数据管理
每一个数据资产具备多个属性,同样也归属多个分类。按照不同的业务域、应用系统、重要程度、数据分布、更新频率、资产类型、安全等级、保密等级等维度,构建资源标签体系,使各类数据消费者都能快速发现和获取需要的数据。
构建数据资产目录,实现数据资源画像
数据资产目录要满足不同角色用户的数据消费需求,基于“业务域-业务子域-业务活动”的架构思想,建立业务视角数据目录模板。基于资源类型、存储位置、安全等级、使用频率,生成技术视角数据目录。同时数据资产目录应能支持数据目录管理、资产查询、资产分析以及资产交换等场景。
开放数据资产服务,实现数据共享
建立数据资产目录与实体资源的映射关系,开发面向不同消费者的数据服务类型,满足业务系统、数据分析师、前台业务人员多样的数据需求。比如对于库表、文件等常见数据资产,可以开放数据查询、下载、交换、分析以及API服务。
数据资产持续化评估与监控,进行长期管控
数据资产并不是一成不变的,随着时代的变迁,企业的发展,数据资产的种类也会越来越多。对于资产管理者来说,需要通过元数据技术,在变更元数据的同时,更新资产目录,挂接新资源,灵活、快速的响应数据消费需求。
数据资产盘点的流程和方法相关推荐
- 企业数据资产盘点与数据标准梳理方法
大数据在中国的大地上蓬勃发展,带动了许多新的理念的诞生,数据治理就是其中之一,这两年已建立好的数据中心或者正在建的数据中心都在如火如荼的进行,在企业内部,也已经开始由原来的业务部门和IT部门演变出来数 ...
- 数据资产运营 = 数据资产盘点 + 数据治理 + 数据价值实现
略去大数据分析背景与价值部分,言简意赅的介绍如何进行数据资产管理运营. 数据资产管理运营 = 数据资产盘点 + 数据治理 + 数据价值实现 管理和运营是一个全流程的事情,首先我们需要知道有哪些数据(盘 ...
- 数据资产盘点实践:智能对标
数据资产盘点,是一个将数据资源进行标准化.产品化.服务化的过程.没有经过这个过程的数据,仅仅只能是数据资源,就像原油:经过资产盘点,有口径.有溯源.有案例场景,有服务接口,用户才能"看得到. ...
- 第四章第九节数据资产盘点-数据资产目录分类
第四章第九节数据资产盘点-数据资产目录分类 在形成数据资产清单以后,如何将清单进行分类?关于数据资产目录的分类,有几种方法,一是参考行业数据分类框架.二是参考监管数据分类.三是根据数据管理实践,结合企 ...
- 第四章第三节数据资产盘点-业务价值链、数据场景梳理
第四章第三节数据资产盘点-业务价值链.数据场景梳理 业务价值链.数据场景梳理是从业务的视角对数据块进行拆分. 以贷款业务为例,如图所示,下图讲述了应该如何进行业务价值链.数据场景梳理. 例如,以业务的 ...
- 人才盘点最佳实践:45页人才盘点的流程与方法,管理梯队模型
人才盘点最佳实践:45页人才盘点的流程与方法,管理梯队模型 https://www.toutiao.com/i6927669802240623117/?tt_from=weixin&utm_c ...
- 第四章第二节数据资产盘点-数据资产盘点方法伦
第四章第二节数据资产盘点-数据资产盘点方法伦 数据资产盘点可以通过业务角度的自上而下演绎和数据角度的自下而上归纳对数据资产进行盘点,编制数据资产目录 ,如图所示: 自上而下的演绎,是确保数据资产目录可 ...
- 第四章第四节数据资产盘点-数据资产梳理
第四章第四节数据资产盘点-数据资产梳理 在完成业务价值链.数据场景梳理后,盘点业务流程环节中产生的重要数据 ,仍以贷款为例,如图所示: 比如在授信业务节点会产生客户信息和授信合同信息等数据快,这个业务 ...
- 第四章第十节数据资产盘点-形成数据资产目录
第四章第十节数据资产盘点-形成数据资产目录 在形成数据资产目录分类以后,需进一步拆解主要业务活动,识别业务活动涉及的业务对象对应的属性分类以及属性信息.形成分类统一.层级稳定.名称规范.分布明确的数据 ...
最新文章
- c++函数模板_高考数学解答题得分模板——三角函数与解三角形
- csharp: 百度语音合成
- day06_方法_20150806
- matlab 中的dir函数使用
- java题目不会做那么解答_有几道JAVA的题目不会做 哪位高手来解答一下!谢
- draw python_科学网—Draw figures with Python - 高琳琳的博文
- 古墓:黑夜中不断的断龙石敲击声
- hbase1.1.1 连接集群_Hadoop2.7.1+Hbase1.1.2集群环境搭建(10) hadoop hbase kerberos
- 设置单元格填充方式_【WPS神技能】Excel表格中单元格内的双色填充效果有点意思!...
- REST和RESTful详解到实战
- BZOJ4237 稻草人
- 浅谈数据分析和数据建模
- python blp模型 估计_简述BLP模型
- Java证件照剪切_GitHub - caoqiang250/idPicCut: 对原始证件照进行压缩,剪裁,换背景,(美颜)...
- python股票回测_用Python徒手撸一个股票回测框架搭建【推荐】
- 软件分析与测试研讨会,第四届Vector测试专题研讨会
- 二进制部署多master节点的k8s集群-1.20以上稳定版本
- Java I/O体系(三)
- 网关如何快速接入移动OneNET云平台指南
- Java获取国内手机号码归属地
热门文章
- 进击的Android之manifests
- 【机器学习】EM算法
- 《离别小叙》一个感伤的程序员
- YoLo: You Only Look Once: Unified, Real-Time Object Detection译文
- 查找微信公众号服务器,墨涩网 - 免插件实现微信公众号搜索连接wordpress网站文章——墨涩网...
- 使用UE4创建一个简单真实的地球(一)
- 关于Matplotlib作图时中文字体无法显示问题
- Win10系统(无GPU)环境/Anacoda:Python小白如何从入门到成功运行YoloV3图片+视频demo
- keil软件不显示.h文件问题
- 如何在庞大的ip地址库中快速定位到对应的ip地址所对应的归属地?