数据治理管理平台的5种能力
随着产业互联网和大数据平台兴起，数据治理的重要性不断提升，从过去的强调“兼容、集成”，逐步向数据中台、微服务架构和云服务方向发展，强调对数据中心和内外部系统的数据服务能力，为数据资源中心与外部数据系统提供数据服务。
现代企业的各项决策和管理都建立在高质量数据的基础之上，而这依赖于数据清洗、数据连通与业务融合等多方面的协同。成熟的数据治理模式和工具能够有效提升数据质量和安全性，确保数据资产的有序存储于共享，为深度推进信息资源整合和对接提供良好基础。现代化的数据治理管理平台，一般具备如下五种关键能力
1.微服务架构能力
微服务是一种松耦合的架构风格，强调主系统下的各个服务都能进行独立的迭代与部署。每个微服务往往可以集中地关注某一业务领域，而且不用考虑系统内部的兼容问题。微服务的功能原理与现在各个大型软件内独立开发的插件类似，各种类型的数据交换及其处理都是服务的方式存在，互为独立，互不影响且能高效协同。微服务架构下统一的建模工具能够快速生成服务模型（交换、传输、整合、数据质量、共享等）, 服务松耦合，并且形成满足不同需要的服务组合、可重用；可以调度使用、安全调用，使用方便、安全。同时能有效应对未来可能出现的技术迭代、组件拆卸与重构。
2.不同网段下和系统间的数据交换能力
数据治理强调端到端的数据交换基于统一的数据交换服务。事务处理机制保证了交换的数据一致性，而状态传感器技术有效提升了分布式传输过程中的状态感知能力。配置、部署、运维变得愈发简单。数据传输变得更加通畅，跨系统和网段下都能稳定运行，长时间处理情况下的通讯挂起现象得以杜绝。
3.一体化数据交换和治理能力
数据治理平台需要基于统一工具、架构、运行支撑、元数据管理，从而实现数据采集、交换、加工、共享、治理（含元数据管理、数据模型管理、数据质量、数据图谱、数据安全）等功能。企业内部业务纷繁复杂且变化很快，数据治理平台需能根据业务数据项目的特点对不同的数据功能模块进行组合，形成多种数据服务和治理解决方案。
4.强调交换过程中的数据处理能力
数据治理的数据交换过程强调数据处理能力。数据清洗永远是一个繁琐但又必要的过程，传统的数据清洗往往依赖于人工的ETL工作，写大量的即时SQL语句，但如果通过模式的总结往往可以实现特定清洗逻辑的封装，进而实现交换过程中的数据转换（包括代码的统一、格式转换，数据脱敏处理等）、逻辑判断（包括格式检查、逻辑判断、范围检查、组合检查等）、数据路由等处理。此外，交换过程中还需进行数据质量检查，设置检查规则，并记录数据异常以提供元数据分析。
5.全方位的数据治理支持能力
1)数据模型管理，包括元数据管理、数据建模等。
2)数据质量检查（包括数据比对、数据重复相似检查、常规数据质量检查）、数据质量报告、问题数据处理等。
3)数据资产可视化，包括数据图谱、血缘关系、数据地图等。
4)数据安全管理，包括数据模型授权管理、数据服务授权管理、数据脱敏处理、安全审计等。
数据治理管理平台的5种能力相关推荐
- 数据治理管理平台有哪些特点
现代企业的各项决策和管理都建立在高质量数据的基础之上,而这依赖于数据清洗.数据连通与业务融合等多方面的协同.成熟的数据治理模式和工具能够有效提升数据质量和安全性,确保数据资产的有序存储于共享,为深度推 ...
- 数据治理管理平台功能模块与特性
数据治理中的元数据就是数据的数据,讲究从数据的全生命周期:产生/采集.存储.加工和展现等环节进行描述与分析.元数据体现数据的各类关系和属性,可从技术.业务.管理3个维度对元数据进行划分,从而帮助用户对 ...
- 数据治理管理平台——数据资产管理
数据治理中的资产管理是一切治理活动的起点,在数据治理活动中,占据首要地位,只有将数据真正地资产化,才能有序进行后续的深入挖掘与研究. 数据资产管理作为数据治理的重要组成部分,有效地将数据规范管理和数据 ...
- 31页大数据治理管理平台解决方案合集
以下为部分内容,文档获取方式见文末 背景与需求分析随着各地正在逐渐成立大数据中心,并响应职责与市大数据中心对应,来推进各区公共数据的统采集.归集.整合.共享.开放和应用,建设各区数据资产,改善和解决数 ...
- Kyuubi: 网易数帆开源的企业级数据湖管理平台（架构篇）
Kyuubi是网易数帆旗下易数大数据团队开源的一个企业级数据湖管理平台,建立在Apache Spark之上.Kyuubi提供一个高性能的通用JDBC和SQL执行引擎,通过它,用户能够像处理普通数据一样 ...
- 大快搜索城市运河大数据政务管理平台案例解读
2019独角兽企业重金招聘Python工程师标准>>> 大快搜索城市运河大数据政务管理平台案例解读 大数据在政务当中的应用对于提高问题解决的效率可谓大有帮助,但政务大数据平台的应用开 ...
- 水文数据监测管理平台助力智慧水务数字化管理
水文数据监测管理平台通过大量传感器数据采集,对水位.流量.含沙量.降雨量和水质等信息进行可视化处理,从而在手机端或电脑端实现远程监控.超限报警及远程控制等功能,同时通过云平台实时更新的数据图表对各地水 ...
- 智慧交通大数据可视化管理平台建设方案
"智慧交通大数据可视化与虚拟仿真突发事件应对管理决策服务平台"是一个针对交通管控单位的综合型辅助管理决策服务平台和三维仿真突发事件应对系统,系统以实际的交通设备和运输能力分布为基础 ...
- 深度解析大数据可视化管理平台的监控功能
在上一篇的文章中已经明确说过DKM作为大快发行版DKhadoop的管理平台,它的四大功能分别是:管理功能,监控功能,诊断功能和集成功能.管理功能已经给大家列举了一些做了说明,今天就DKM平台的监控功能 ...
最新文章
- zookeeper 分布式计数器
- PPT，别让我们走错路
- dom4j Java解析xml应用
- 如何使用mock应对测试所需随机数据
- 区块链100篇之第三篇--数字签名
- FoundationDB 开源文档数据库模型 Document Layer
- grep 两个字符串_Linux运维工程师想要的12个grep指令
- GitHub 开发者页面迁至 github.io
- 二维图像(数组)的fftshift
- HDLBits学习------Problem 106~114
- TensorFlow Serving Introduction
- 102 613 SWP协议学习笔记--数据链路层
- C语言动态开辟数组（一维与二维）【malloc() free()】
- 谈谈双活业务中心和异地容灾备份设计
- 跨端融合！探索前沿科技无限可能，深圳腾讯2018TLC大会再度来袭，早鸟票最后一天...
- dns服务器未响应重启就好,网络诊断提示DNS服务器未响应解决方法 - 全文
- 2021-07-30 es6 -第4章和String复习
- 数学建模——房屋贷款问题——python实现
- (建议收藏)服务器宕机，效率排查攻略V2.0
- python bokeh_使用 Bokeh 为你的 Python 绘图添加交互性