古人云:“天有常数,地有常道”。时代再不断的变化,彼时的“数”少了份哲学情怀,此时的“数”则多了份经济发展的色彩。如今的“大数据”已被归结为继“实验、推荐、计算仿真”之后,人类认识客观世界的“第四范式”新手段。当所有人都喊着“数据是资产”的时候,又有几个企业真正像管“钱”一样去管数据的?又有多少管理者真正像拥抱“钱”一样去拥抱数据、能认知到数据的价值以及为了获得这种价值其背后所需要付出的巨大努力的?有没有像财务部门一样有“数据会计”、“数据出纳”、“数据审计”等等?既然数据是如此重要的资产,为什么没有被加入企业的资产负债表?是因为这种资产带来的收益不直接?是因为这种资产变现的途径很困难?还是因为这种资产的获取及提炼门槛太高、收效太慢?亦或是控制管理及运营成本并非主要的考核指标,成本的增长又常被经营收入的增长所掩盖,以至于我们的CXO们把更多的精力放在“赚快钱”上?读完《华为数据之道》,我认为华为是真正做到了把数据作为企业的战略资产,是其他企业需要学习的数字化与数据治理的典范实践者。以下是通篇之后我个人的一些感触和启发,希望对大家有用。非数字原生企业的数字化转型这是一个非常有趣的词,本书开篇就点出了华为先前作为一个非数字原生制作型企业所存在的各种痛点,例如产业链条长,多业态并存;数据交互和共享风险高;数据复杂,历史包袱重等问题。传统企业在经历早起的信息化建设后,不可避免的会陷入“客观上的孤岛陷阱”,限制了企业在全面数字化时代运营效率的提升和效益的改进。因此,华为数字化转型的目标就很务实,也就是要通过“对象数字化,过程数字化,规则数字化”,构建“感知,链接,智能的数据平台”,实现企业的ROADS体验(实时real-time,按需on-demand,在线all-online,自助DIY,社交social),来解决上述问题。数字化生产的本质是以数据为处理对象,以ICT平台为生产工具,以软件为载体,以服务为目的的生产过程。华为数字化转型的关键是数据治理和数字化运营,打破数据孤岛,确保源头数据准确,促进数据共享,保障数据隐私与安全。这让我不禁联想到,这些所谓“非数字原生企业”所存在的问题,在如今的许多互联网“数字原生企业”中也同样存在。华为想要实现的数字化转型与生产,其实对许多所谓数字原生企业也同样的重要。尽管如此,也未见许多企业与组织有所行动。所以从这个意义上讲,华为的决心与执行是强大的。为了完成这一目标,华为将数据治理这一理念升华到了广义层面,并投入到企业级的实践,包括了构建统一的数据管理责任体系、构建统一的信息架构和数据底座、构建面向“自助消费”的数据服务体系,最终打造出“企业数字孪生”。数据管理责任体系都说转型是一把手项目,但真的“一把手”了吗?我看过太多所谓一把手项目最后只是挂个名分,遇到实际需要决策推动的时候仍旧是各立山头、互相推诿,只看住眼前的一亩三分地。企业的转型是需要魄力的,新时代下的数字化转型更是如此,因为转型的过程不可避免的会影响甚至颠覆过去的流程、技术和商业模式,更需要有魄力的“一把手”、“董监高们”支持推动。例如在华为,对于不遵从管控要求的变革项目,数据管控组织有一票否决权;构建业务负责制的数据管理责任体系,不仅是管理体系,也是责任体系,包括问题回溯和奖惩机制;对数据质量的问题确保在源头解决,一经认证,“一点录入,多点调用;一点定义,全局共享”,并关注数据质量的持续提升。此外对于数据的管理,从规范化管理演进到了精细化管理,根据不同的数据类型进行不同的治理方法。结构化数据的管理以统一语言为核心,构建统一的数据资产目录、数据标准和模型,形成高价值密度的数据域;对于非结构化数据,以特征提取为核心,通过元数据落地来开展,使得原本低价值密度的数据本身不额外增加存储与管理成本,但又提取了高价值密度的信息来支撑业务;最后对于外部数据的管理,确保合规遵从。统一的数据底座书中提出的华为数据底座,由“逻辑数据湖”作为主体。它不是单一的物理存储,而是通过统一的元数据语义层进行定义、拉通和管理。这是一种非常讨巧的构建方式,可以降低数据集中化带来的迁移、存储和运维成本,特别适合传统的非数字原生企业,当然也适用于那些庞大且复杂的数字原生企业。虽然数据湖中存储的是数据原貌,不需要清洗和预先定义,但需要做数据质量评估。使得数据消费者了解消费该数据的质量风险,并反过来推动数据owner在源头进行数据质量的持续提升。对于需要入湖的数据提供物理入湖和虚拟入湖的平台工具。这里有个小亮点是基于数据虚拟化能力而实现的虚拟入湖,适合低数据延迟,高灵活性和临时模式的消费场景。数据虚拟化能力包含四个层次的内容:数据源映射、元数据建模、数据的抽象(基于虚拟表和数据封装)以及联邦查询的能力。除此以外,对于近两年很热门的非结构化数据的入湖方式也给出了四种不同的明确定义,包括基本特征元数据入湖、文件解析内容入湖、文件关系入湖和原始文件入湖。面向“自助消费”的数据服务其实这一理念已经宣传了好多年,真正能达到目标的企业是少之又少。我一直在思考其中原因是什么。从所谓人性的“恶”的角度说,在toB项目的过程中,有些客户不希望自助分析和提数的原因在于权责问题。谁提数汇报,谁就要对数据的质量负责,如果数据是IT部门弄完给我的,至少我没有全部的责任;其次还是图省事,自助分析即使再便捷,客户还是需要自己去学一套工具、了解数据指标背后的统计口径、甚至还需要一些故障排查的能力。这个看上去吃力不讨好的事情,但凡有预算的客户谁会自己去搞呢?而服务的提供方在数据运营阶段为了增加由劳动时间转换而来的收入,也愿意按照传统的“提需求、做评估、再开发”的定制化方式来为客户服务,并收取费用。这也许是为什么“自助数据消费”这一理念在传统企业和toB项目中难以推动的原因之一。而制度的存在、技术的演进其目标除了降本增效之外,有时也是为了抑制人性之恶、引出人性之光。所以如果我们刨开这些人性和商务的问题,我们需要提供什么样能力才能完成用户“自助消费数据”从而降低开发及运营成本的目标呢?从华为的实践看来,这样的能力包括数据的可供应、可获取及可分析。首先,通过数据入湖并明确数据服务的边界来达到可供应的数据。避免数据的预定义、预转换和加工链条过长,并对数据服务合并封装的边界做明确的定义。数据服务的本质是将已有的数据资产以服务的形式提供给消费者,而不是在服务的过程中又创建一个新的数据服务。其次,通过构建数据地图来构建数据可获取、可搜索的能力。构建以用户体验为核心的数据地图就是要解决原先业务使用方对湖中数据“找不到”、“看不懂”的问题。数据地图的构建是基于元数据、数据资产目录以及链接业务元数据与技术元数据的结果,是数据治理成果的集散地。最后,提供便捷的数据分析工具来支撑业务人员的自助分析,无论是即席分析、多维分析、实时高维还是搜索分析,IT部门或数据中心要实现从“保姆”模式到“服务+自助”模式的转变,提供数据可分析的能力。但如同我前文所述,这就需要我们现在的业务专家学习一些IT技巧、掌握一些数据分析能力,从业务专家转型到业务数据分析专家。一开始会有抵触、会有不适应,但这是时代的大趋势、是企业的大趋势,每个人都需要不停的学习新知识、新技能来帮助组织的转型。因为组织是人的组织,人是组织里的人,永远不变的只有改变。最后你会发现,企业的数字化转型不仅仅是工具的转型、流程的转型,更重要的是“人的转型”。工具可以购买,经验可以借鉴,但打铁还需自身硬。企业级的元数据管理机制元数据管理是数据治理理念中重要的一项,而华为把这项能力发挥到了一个很高的水平。前面我所提及的数据管理责任体系、统一的信息架构和数据底座、面向“自助消费”的数据服务,这些都离不开元数据的管理,而华为更是将其上升到了企业级所拥有的元数据管理机制。以元数据的类型区分,可以分为基础特征元数据(例如标题、格式等,遵照《都柏林核心元数据》)、内容增强元数据(例如标签,关系等)和操作元数据。其中针对大量视频、图片和文字等非结构化数据的处理,是将其语义理解之后的结果(标签、关系等)归为元数据的一类进行管理和消费。基础特征元数据分析的手段是数据可视化、交互式BI,内容增强元数据分析的手段是图计算、基于图谱的知识计算等。从这里就可以明显看出华为对数据治理有很深刻的认知,这也一定是整个组织对大数据多年的研究和理解后的沉淀。以元数据的产生区分,可以分为业务元数据、技术元数据和操作元数据。其中目前大数据平台工具可以自动的采集和落地元数据以技术元数据为主,而业务元数据和技术元数据打通及链接是十分重要却往往被忽视的,跳过这一步就意味着入湖后的原始数据与数据地图、数据资产目录、数据标准和模型是割裂的,也就无法面向数据消费者提供上述的“数据自助消费服务”。总之,元数据管理机制一方面可以支撑业务更好的数据消费,另一方面通过业务元数据和技术元数据的关联分析,反向校验架构设计与落地的实施情况,检查公司数据管理政策的执行情况。结语在本书中,华为一方面总结了其在数据治理和数字化转型方面的实践经验,将数据治理升华到了一定的理论高度;另一方面又从组织及流程管理、技术及能力构建和数据管理及服务等角度提供了实际的建议和结论,不停留于表面,不只是简单的概念介绍,十分具备实操性。无论是给从业者还是给感兴趣的人士,都带来了知识和惊喜,值得细心阅读和品鉴。最后用华为CIO陶景文先生为本书所做的序为结语:数字化转型是一个持续优化的过程,只有起点,没有终点。

华为数据之道_数字化与数据治理的典范实践者 | 华为数据之道相关推荐

  1. 大数据建设意义_从宜信中台构架看企业大数据建设的意义

    对于公司来说业务的属性是"分",越来越精细,不同的人干不同的事情,还干得越来越好,这就是业务.数据的属性其实是"合",要整合.联合,把所有的数据拿到一起去看待一 ...

  2. 数据开放 数据集_除开放式清洗之外:叙述是开放数据门户的未来吗?

    数据开放 数据集 There is growing consensus in the open data community that the mere release of open data - ...

  3. 多帧点云数据拼接合并_自动驾驶:Lidar 3D传感器点云数据和2D图像数据的融合标注...

    自动驾驶汽车的发展已经见证了硬件传感器记录感官数据的容量和准确度的发展.传感器的数量增加了,新一代传感器正在记录更高的分辨率和更准确的测量结果. 在本文中,我们将探讨传感器融合如何在涉及环环相扣的数据 ...

  4. python数据预测代码_手把手教你用Python玩转时序数据,从采样、预测到聚类丨代码...

    原标题:手把手教你用Python玩转时序数据,从采样.预测到聚类丨代码 原作 Arnaud Zinflou 郭一璞 编译 时序数据,也就是时间序列的数据. 像股票价格.每日天气.体重变化这一类,都是时 ...

  5. python 3d大数据可视化软件_分享4个最受欢迎的大数据可视化工具

    想像阅读书本一样阅读数据流?这只有在电影中才有可能发生. 在现实世界中,企业必须使用数据可视化工具来读取原始数据的趋势和模式. 大数据可视化是进行各种大数据分析解决的最重要组成部分之一. 一旦原始数据 ...

  6. vue怎么传数据给后台_千万日活级产品人必备:数据监控后台之数据指标怎么选?...

    [导读]通过核心业务驱动是快速搭建数据监控指标体系的不二法则! 文|三爷 3530字 1 为什么要有数据监控后台? 随着创业大潮的兴起,市场中很多初创公司在初期为了快速上线,往往选择只进行功能开发,而 ...

  7. json模拟数据怎么用_在使用axios获取自己模拟的json数据是踩到的坑

    最近在使用Vue仿写一个网易云音乐的单页面应用,当页面布局什么的写完后,然后就准备用axios获取后台数据渲染页面了,当然,我自己写的,并没有后台,所以,我就自己写json文件,然后弄proxy代理什 ...

  8. 数据可视化课程_在这个由10部分组成的免费数据可视化课程中学习D3

    数据可视化课程 D3.js is a JavaScript library which allows you to bring data to life using HTML, SVG, and CS ...

  9. jeesite如何已生成数据的数据源_如何在postman中自动生成接口请求数据,这个功能你需要知道,可结合浏览器和两大抓包工具使用...

    在做接口调试或测试时,请求中的每个参数都要按照接口文档填写到postman的对应位置中,很是麻烦.那是否有这样一个功能?可以帮我们自动生成接口数据,无需修改,直接发送请求就可以呢. 这里面我们需要借助 ...

最新文章

  1. 傅里叶变换之看不懂就掐死我教程
  2. 不止视觉,CMU研究员让机器人学会了听音辨物
  3. VMM2012中虚拟机的创建
  4. 磐石云服务器_磐石云爆款高防云服务器3年仅699元 限量100台 BGP线路 1核2G
  5. Unresolved compilation problem: String liter
  6. 树莓派分辨率调整(含官方默认和kali系统)
  7. 用官方的SSD1306.py 驱动 OLED
  8. 盛骁杰:对于充满好奇心的技术人来说多媒体技术是个宝藏
  9. git clone远程仓库时,输错密码如何解决?
  10. php中命名空间、面向对象、访问控制、接口
  11. dbcp释放不了mysql链接_spring dbcp连接不释放-问答-阿里云开发者社区-阿里云
  12. 国庆档票房近50亿创纪录 背后影视股却遭遇集体下跌
  13. 智能一代云平台(三十):逆向工程生成mybatis
  14. Kubernetes支持有状态服务的部署
  15. 显示器U2518怎么连服务器,工作游戏两不误,戴尔 U2518D显示器太划算-双显示器设置...
  16. 最新版 INSPINIA IN+ - WebApp Admin Theme v2.7.1,包含asp.net MVC5示例代码,做管理系统最佳的选择。...
  17. 基于I2C协议的AHT20温湿度传感器的数据采集及OLED屏显示
  18. 快递管理系统(面向对象+MVC+集合+IO)
  19. linux 挂接磁盘阵列,Linux下磁盘分区挂载和磁盘阵列
  20. ai智能文章生成器-ai论文写作

热门文章

  1. 谷歌Colab GPU达到使用量限额解决办法
  2. xp电脑主题包_怎么让手机变电脑?一个APP让你的安卓手机变Windows电脑
  3. idea 无效的目标发行版_maven构建异常(无效的目标发行版: 1.8)
  4. java tcp ip原理_从0到1用java再造tcpip协议栈:ICMP协议的原理和实现
  5. 软件测试常见笔试面试题(二)
  6. 无法往开启kerberos的zookeeper上注册服务_笔记本WiFi信号满格,却无法上网怎么搞?...
  7. mongodb和mysql的语法_Mongodb和mysql的区别
  8. python数据包分析_python | 数据分析(一)- Numpy数据包
  9. 零基础学python尹会生_编程零基础应当如何开始学习 Python?
  10. python教程文件 txt_Python读写txt文本文件的操作方法全解析