如何构建一个可持续的企业级数据赋能体系？
简介： 对于所有企业来说，数据决定了基于算力、算法等能做出哪些场景和应用。在本次首席技术官大数据专享会上，友盟+首席产品官林鸣晖围绕业务数据化，数据资产化、资产应用化、应用价值化构建属于企业的可闭环、可沉淀、可持续的数据赋能体系进行分享，基于智能数据采集（U-SDC），用户数据平台（U-CDP），数据开放平台（U-DOP）探讨如何建立企业的数据银行。
一、构建可闭环、可沉淀、可持续的企业级数据赋能体系的背景
1.数据“四化”
如何让属于企业自己的不同触点的数据快速形成一个闭环，沉淀串联这些零散的数据能够快速应用去赋能业务？这涉及到四个关键词，一是业务数据化，企业所有触点是否为真，是否被打通。第二是数据资产化，能否可以像管理资产一样很好地管理数据。第三是资产应用化，企业的资产能否有效应用？如何借助数据资产赋能业务，最后是应用价值化。所有的应用最终一定是为增长、为获客而服务，必须要有价值。在这背后最重要的是场景必须可闭环，数据必须可沉淀，最终数据中台、数据能源才是可持续的。
2.构建可闭环、可沉淀的数据赋能体系的意义与价值
下图展示了一套可闭环、可沉淀、可持续的企业级数据赋能体系是如何构建的。下图友盟+会推出一个面向企业的数据银行。数据银行和业务是一种什么样的协作关系？开发者数据银行会基于云基础设施，如MaxComput等，不断帮助企业采集各种场景、触点的数据，做相应的数据治理、提纯、模型加工、形成各种应用服务，基于UMID打通能力，多账号归一，多端归一，支持不同的终端数据打通（移动客户端、服务端、客户端不同的平台）， 帮助开发者完成全场景、全触点的数据资产沉淀及应用的管理。
关于跨端用户运营会涉及两个问题，首先，公司每一次在媒体外投的数据是否已经回流？回流后是否能够对数据进行第二次应用？第二，通过你的营销是否将用户沉淀至用户池，跨端的用户是否有效运营起来了？其实除了营销，企业会有很多用户触点，如头条号、微博、抖音号等，用户资产的数据必须打通后才能发挥真正的价值，如果你在做你的搜索推荐，那么除了先进的模型算法之外，你的公司是否有数据底座，是否在收集回流归一各个触点的用户行为数据，并喂养给你的搜索引擎让它越来越智能；比如：此前投过广告的数据下次进行搜索时，你就应该推荐客户之前看过相关广告的内容。
二、开发者数据银行
每一家公司都需要构建属于自己的数据银行。比如在阿里巴巴的生态体系内，阿里在双11当天有上百万商家卖货，很多品牌商家都在阿里构建数据银行。同样，友盟+在数据智能服务领域已深耕九年，凭借服务百万家互联网企业的经验，面向开发者推出开发者数据银行，与MaxCompute形成一套核心解决方案服务用户。数据银行需要解决几个问题：第一，数据银行解决数据资产的管理和应用的问题，可以用采、建、管、用四个字来表达。首先是业务数据化和数据资产化，如何采集数据，并快速将端的数据形成数据资产。其次是资产应用，形成多种消息的推送，营销的拉新，包括App的推送，各种运营推荐，都是在数据银行上能够提供的服务。
数据银行包括三类产品，从三个角度帮助用户解决问题。如下图所示，第一个产品是智能数据采集（U-SDC），第二个用户数据平台（U-CDP），帮助企业沉淀数据资产，高效服务业务部门、运营团队、市场等团队。第三个是数据开放平台（U-DOP），将采集到的数据通过友盟云之上与业务数据进行融合、分析，更全面的洞察用户，更场景化的应用数据。
1、智能数据采集（U-SDC）
无论AI或者智能引擎产品，本质是数据生产和采集。采集是数据质量的根本，数据采集的效率质量和效益都至关重要。数据采集工作需要关注是否全面掌控了公司的数据埋点？是否清楚某个场景应如何埋点？埋点后会产生什么样的数据？所埋的点是否正确有效？埋点是个长期运行的动作，需要不断验证埋点是否健康，最后一点回归到根本性的问题，如果埋点是错的，那么叠加的AI智能等所有内容也都会是错的。
管理埋点：埋点在大数据领域属于脏活累活，很多人不愿意做。常见的情况往往到了产品上线，需要使用数据的时候开始催促埋点。所以一家公司的埋点是否有人搞清楚？是否清楚这么多的埋点中哪些埋点正确，哪些异常？很多企业是不清楚的，这是一个残酷的现实。这是一个非常实际的问题，如果公司长期不清楚自己的埋点问题，便是在错误的数据上长期持续经营业务，越走越错。
埋点智能方案推荐：某家视频行业领域的公司的有两个团队，分别负责直播不同频道的业务，两个团队都会定义一些公司的埋点规范。但是数据规范性在两个团队不一致，如视频播放开始，A团队定义埋点全局参数叫Play，代表播放开始事件，B团队将其定义为Start。两个团队并不知道两个数据定义都不一致。案例中的问题看似不严重，但后续会发现公司数据不可持续，此时不论利用什么工具都不能解决问题。对于公司数据的管理一定要基于对业务场景的深刻理解，对业务场景进行标准、规范的定义。友盟+通过更多标准化的场景，包括为不同行业提供标准的埋点方案推荐来解决用户问题。友盟+聚合了非常多比较优秀的企业的实践，告诉用户如何埋点，埋点后能够解决哪些场景问题，同时会提供各种各样埋点智能推荐，针对技术团队沉淀公司基于场景的埋点解决方案的知识图谱。
智能埋点与智能验证：开发做埋点是通过SDK代码，上报数据，后台打印日志。但并不意味数据上报则完成了埋点。如开发者直接将一个启动的日志埋在登录页面，突然有一天发现登陆数高于页面访问数近一倍。原因是该点同时被埋到了退出页面的加载进程中。即开发者错将一个点埋到两个位置。友盟+希望能够提供各种智能验证工具，比如当埋点上报时，会为开发者提供一个服务，如果埋点命名为“启动”，会有一系列的智能检测该埋点上报时所在的页面截图是否为正确的业务场景位置。智能埋点及其验证测试是非常重要的，友盟+会通过视觉切图计算验证埋点的正确性，为技术团队大幅减轻工作成本和压力。
埋点健康度一键体检：当埋点全部完成，公司要做埋点健康度的验证，检查埋点是否符合规范，是否有异常点。埋点健康度是公司数据采集准确性的底座保证。数据团队和做客户端的开发团队经常会因为埋点问题产生矛盾。数据团队觉得数据有问题时一般归责为埋点问题，开发团队也会认为是数据团队配合问题。埋点的KPI就是先让埋点可视化，看到是由谁埋了哪个点，运行情况是否出现问题，是否按照规范埋点。如果埋点的规范度没有达到一定程度，团队是否应该承担责任？因此需要从管理角度、从组织层面以及产品能力层面解决公司埋点和采集的核心问题。
数据银行采集平台（U-SDC）会重点解决以上几个核心问题，使用户埋点可见、可控、可管，为用户埋点推荐合适的优秀方案，使用户埋点能够智能调试和验证，大幅降低埋点采集的成本，从而最终达成数据质量的根本性提升，使最终保存的数据资产有价值有质量。
2. 用户数据平台（U-CDP）
数据采集之后，最重要的是解决用户资产问题。首先，用户资产管理一定要解决的问题是可信和归一。数据做了很多触点，每个请求在访问APP，其中很多是作弊的或受欺诈的流量，如何保证设备是可信的？基于UMID打通能力，多账号归一，多端归一，支持不同的终端数据打通（移动客户端、服务端、客户端不同的平台）的流转换关系洞察，归一完成后形成自动的标签生产库，使得私域的标签生产保持高效，并且能够赋能到业务团队，快速做标签、洞察、圈人，并且最终形成对客户的运营动作。
是否清楚自己的用户资产：用户数据平台（U-CDP）支持多源数据如何在很短时间一键接入平台，如移动客户端、服务端、客户端等源头。U-CDP保证可信识别和多端归一，通过全域数据识别，帮助用户做数据归一和提纯，过滤垃圾，反作弊。识别打通后最终形成用户资产可视化，清楚公司触点来源，了解多少私域用户被沉淀下来。清楚上述问题再分析需要建哪些触点，需要增强哪些触点。最终沉淀下来的才真正是自己的私域数据资产。沉淀私域用户资产的一个前提是可运营，若不可运营、不可见，那么数据是无用的。
用户的标签管理库，配置即生产：业务团队总是对技术团队不满意，当运营团队要做一个活动，需要按照业务场景准备物料，准备活动的页面，还要再按照规则圈到一群想要触达的内存，然后对其进行运营。上述需求需要先和产品经理提需求，产品经理再去和算法、技术团队沟通然后写PRD，再等待几天将活动开发上线。往往流程特别长，完全无法满足运营团队快速迭代、快速试错、快速运营客户的诉求。而运营团队的需求并没有那么复杂，如运营团队只是想给最近30天访问过APP、看过小程序，同时这两天被广告命中的那部分人一个红包，但是很多企业面临技术排期。
运营团队感到不满，技术团队也缺少成就感，因为每天的工作基本是跑SQL等繁琐零碎的事情。企业需要思考的问题是如何高效解决上述生产场景。友盟+希望数据银行提供预置私域标签的生产，不需要技团队做过多事，只需要将埋点做好。所有产品要去支持运营，能够在平台上面快速配置，快速生产，赋能业务团队，预置私域标签，配置即生产。此外，友盟+数据银行会提供一个不同的能力，既全域标签。私域标签只对客户进行圈选和洞察，友盟+会额外加持全域标签，告知不同用户的兴趣方向，从更多的维度去洞察和圈选用户。友盟+未来计划与其它企业联合建立一个标签实验室，贡献双方不同的数据，通过融合计算得出更好的标签效果以服务不同企业。
预置分析模型，自定义报告结构：运营团队只需要预置分析模型，做交、并、差的各种组合，做各种洞察，洞察完成后保存自己的人群包，即可快速复用到每一个业务的运营和活动之中。自定义私域人群细分体系埋点完成后，在友盟云上采用MaxCompute数据仓库的方案，自动汇聚成一个人在多个端每一天的行为，自动形成用户的档案序列，自动配置完成。只要埋点是正确的，运营团队马上可以完成私域人群细分。友盟+希望把上述的轻量方案应用到解决实际生产中的各种各样支撑的问题。
多种组合模式，找到想找的人：如某装修建材公司，有一个Web网站，起初是通过Web网站以及QQ与客户联络。后面该公司又发展了APP和小程序的团队。客户可能同时出现在三处，问题时数据不互通，并且组织是分开运营的。其实本质问题是能否在APP端快速发现小程序的客户，再去客户端做投放，运营和回流。友盟+结合多种模式，无需等排期，帮助运营能找到合适的人。
多种通道触达、互动效果追踪：U-CDP支持多种通道，无论是短信、EDM、还是APP的消息等都可以对接，所有的运营效果都可以实时可见。友盟+CDP本质上是和技术团队一起赋能业务团队，解决业务团队的效率问题，并增强业务团队运营能力，并沉淀下来用户数据资产。
3.数据开放平台（U-DOP）
友盟+采集数据后将采集的数据与客户的数据进行融合，通过与MaxCompute进行云端的无缝对接，支持更大力度的开放返还。
一键数据包订阅返还：如下图所示，友盟云采集帮助客户快速采集移动客户端、服务端、客户端不同的平台等数据。如果客户自行加工单一的上述事情，处理时间会非常就且最终质量难以保证。基于UMID打通能力，多账号归一，多端归一，支持不同的终端数据打通，友盟+帮助客户做好加工，生成不同的数据包，只要客户使用SDK，数据包自动生成，自动将数据传送到MaxCompute中。然后可以借助DataWorks、DataV、QuickBI与客户的数据做数据融合，极大地降低成本。客户使用的不再是原始数据，而是经过友盟+加工处理过的数据。之后，用户就可以专注于业务产品的开发，业务场景的赋能，把精力放到业务创新而非原始的加工工作上。
友盟+和MaxCompute云上数据仓库无缝对接，不仅可以提升处理性能，还可以增强使用的简易和便利性。友盟+会为用户预置好所有模型包、模型表，并且打通数据，数据即开即用。
QuickBI智能数据分析展现：下图是一位客户做的友盟+和QuickBI智能数据分析展现。数据融合、返还后，结合MaxCompute+QuickBI，做业务人员自助分析，拖降式自助分析和在线表格的分析，与原来其它的割裂数据放到一起做大量工作，由此分析师团队的效率获得了极大的提升。
总结：无论企业有多么强大的容器、数据库和算法，或者要做多么智能的场景应用，一定要先回到四个关键词：第一是业务数据化，管理好采集和数据质量。第二是数据资产化，让管理层清楚的看到用户资产的具体情况，涉及多少个端，多少个触点，每天产生的数据，沉淀下多少用户。第三是资产应用化，沉淀下来的数据能够快速变成哪些应用去服务业务团队，使业务团队认为技术、数据是在促进帮助业务团队做创新，而不是业务团队等待资源去赋能。其中最根本的一套理念是必须让所有的触点和业务行为的环节能够产生场景和数据的闭环，让场景和闭环能够沉淀数据资产，只有这样才能使一个企业的数据中台可持续，数据赋能可持续，数据能源才会越用越厚，越用越好。
本文为阿里云原创内容，未经允许不得转载。
云栖号 - 上云就看云栖号
如何构建一个可持续的企业级数据赋能体系？相关推荐
- 5000字精华笔记丨如何搭建可闭环、可沉淀、可持续的企业级数据赋能体系？
当下,互联网企业面临IT投入水涨船高.数据资产匮乏.企业系统整合成本高且运作低效.作为国内最早的移动应用统计平台,友盟+已帮助数百万企业提供数据智能服务,并拥有近十年的数据服务经验,友盟+认为破解问题 ...
- 企业级-数据治理体系建设
好的数据治理体系可以盘活整条数据链路,最大化保障企业数据的 采集.存储.计算 和 使用 过程的可控和可追溯. 如何构建企业数据治理体系?企业数据治理过程需要注意哪些问题?总体而言,不能一口一个胖子,路 ...
- 发改委：构建全国一体化国家大数据中心体系
3月17日,新华社发布<关于2016年国民经济和社会发展计划执行情况与2017年国民经济和社会发展计划草案的报告>. 报告中,发改委指出,加大对信息.民用空间.重大科技基础设施建设投入,支 ...
- 如何快速构建企业级数据湖仓？
更多技术交流.求职机会,欢迎关注字节跳动数据平台微信公众号,回复[1]进入官方交流群 本文整理自火山引擎开发者社区技术大讲堂第四期演讲,主要介绍了数据湖仓开源趋势.火山引擎 EMR 的架构及特点,以及 ...
- 使用n2disk和PF_RING构建一个（便宜的）连续数据包记录器（Part2）
连续数据包记录器是一种捕捉原始流量到磁盘上的设备,提供了一个网络历史记录的窗口,当网络事件发生时,你可以回溯到过去,并分析流量到数据包级别,以找到导致问题的确切网络活动. n2disk是ntop套件的 ...
- 手把手演示如何规划一个企业级数据中台
木东居士 非著名数据从业者 "什么是数据中台?" 这个问题在2020年初还有很多小伙伴经常在群里询问,然而还没到21年,就传出来了阿里要去中台化的消息,颇有一种刚上车,车就要坏了的 ...
- 手把手演示：如何规划一个企业级数据中台
开局一张图 最近有好朋友找到古牧君,说所在的公司要上数据中台项目了,有没有空闲聊一下.出谋划策.这种只耍嘴皮子不用干活儿.还能了解一线实际业务需求的好事儿,古牧君自然是不会放过啦-于是乎,一场有条不紊 ...
- 如何构建一个大数据量的搜索引擎
构建一个大数据量的搜索引擎,数据很重要,数据来源在哪里呢?一方面可以从站内结构化数据库导入,如MySQL,Oracle等数据库,构建一个站内搜索引擎,提高查询速度.另一方面构建一个分布式爬虫,每天定时 ...
- 构建一个类book，其中含有2个私有数据成员qu和price，建立一个有5个元素的数组对象，将qu初始化为1~5，将price初始化为qu的10倍。
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 题目: 构建一个类book,其中含有2个私有数据成员qu和price,建立一个有5个元素的数组对象,将qu初始化为1~5,将price ...
最新文章
- java面向对象认定的特征_Java面向对象的三大特征（一）
- 基于算法的建模---分形几何方法
- Javascript 多线程？
- android 仿人人网滑动侧边栏
- sudo配置临时取得root权限
- Oracle特殊恢复原理与实战（DSI系列）
- linux 安装源码网卡包,【linux命令】Linux通过yum 或者源码编译安装vnstat查看网卡流量...
- oracle中的合并查询
- 苹果手机电量剩余多少冲电对电池最好？
- 用户注册加密操作，实现加密工具PasswordHelper
- 藏在兰州拉面里精益管理秘诀
- win10下安装maven
- php 固定表头,固定表头和首列的表格
- 【GNN报告】微软亚洲研究院郑书新：图神经网络迈入Transformer时代
- 【GIS】arcpy对栅格的常见操作——拼接裁剪代数计算
- 60分钟吃掉嘎嘣脆的DeepCross模型
- 吃货必备手册，爱辣条就不能错过的零食地图
- 张曦予巴黎时装周儿童单元T台走秀演绎童真风采
- FlowLayout的使用
- 深度学习大图切成小块图片代码---针对图像分割而言