从百万到亿级，得物触达策略平台是如何做的？
1. 简述
触达策略这几个字听起来比较抽象，刚开始听到并不能直接理解。简要描述下，触达策略的核心是任务。首先配置任务，任务下有策略，策略下有行为，行为可以发送push推送、发放优惠券、发送消息盒子、发送短信等。然后等到任务执行时间，执行任务下所有行为。
蓄水池是提升触达策略平台算法推送能力的实现，为算法亿级数据推送能力提供了技术支持。
2. 得物触达策略平台
得物触达策略平台是通过用户的诸多特征划出一批用户，然后到指定时间执行给用户发送push，短信，消息盒子等行为的系统。主要由任务、策略、行为、蓄水池、文案池等组成。接下来将通过“任务主体结构图”和“任务执行结构图”来介绍。
2.1 任务主体结构图
通过这张图可以简单的看到，任务下有策略，策略下有行为，通过策略下的行为来实际执行对应的push推送。
上面是实际发送push的时候App对应的截图。
2.2 任务执行主体结构图
3. 算法个性化从百万到亿级，得物触达策略平台怎么做
触达策略平台提供了一个强有力的和得物用户沟通的渠道。触达策略平台通过AB实验、文案赛马、回流数据分析、推送发送时机等多种维度决策出了触达策略平台和用户沟通的最佳方案。为了追求更好的用户体验，触达策略平台全面引入算法。触达策略平台使用蓄水池能力支撑起了算法亿级数据处理的需求。通过我们的实践和触达策略任务执行模型以及蓄水池功能，已经完成了从算法个性化从百万级到亿级的演进。
4. 触达策略平台蓄水池
4.1 为何要做蓄水池
以上讲述了触达策略平台主体业务，行为中有算法推送行为的case。算法推送的push内容来源于算法，实时情况下每个人的推送数据并不一致，一段时间内部分人推送数据会相同的特点。
触达策略的蓄水池简单来说就是将要执行的用户数据暂存到池子里，待蓄水池中数据满足一定条件后，再把符合某一特征的用户数据捞出处理。
举个算法例子，在算法降价通知场景，1.0版本算法推送量还比较少，1.0版本圈选平台人群下用户流过来时我们是实时发送推送的，因为一批数据中大多数人push数据都不相同需单个调用。如果我们一直这么做，算法扩量后1小时推送1亿用户的1亿次调用,消息平台会扛不住，触达策略系统压力也增大不少。
1小时内调用消息平台1亿次是不OK的。为了解决上面的问题及考虑到我们业务特点，比如15分钟同一个商品的降价推送大概率会发给几十个用户。由此我们可以做个蓄水池，对于收到的用户先暂存，然后将它们按照所属降价商品id分组分批执行。用一句话概括就是用户降价商品数据超过一定量或用户降价商品数据超过指定时间，只要满足任何一个阈值就执行对应的行，蓄水池功能就提上了日程。
简言之，蓄水池做的就是将不可批处理的实时数据流暂存，再将暂存的所有数据按照某个特征分组，最终将分组好的数据批处理的一件事。
蓄水池业务结构图：
4.2 为何会选用HBase作为蓄水池的存储层
海量存储及持久化
HBase适合存储PB级别的海量数据，存储介质可使用廉价PC。其持久化满足我们对于数据不丢失的需求，能在几十到百毫秒内返回数据。HBase良好的横向扩展性，实现了海量数据的存储能力。单表可满足我们每日亿级数据处理和数据极限会存储数十亿行的需求。
存储使用列式存储
这里的列式存储其实说的是列族（ColumnFamily）存储，HBase是根据列族来存储数据的。列族下面可以动态扩展非常多的列，满足我们存储数据灵活格式和动态扩展的需求。
方便横向扩展
HBase的扩展性主要体现在两个层面，一个是上层（RegionServer）的横向扩展提高处理能力，一个是存储（HDFS）横向扩展提高大数据量存储能力。通过添加RegionSever机器，进行水平扩展，提高Hbsae服务RegionServer支持更多Region的能力。
备注：RegionServer的作用是管理Region、承接业务的访问，通过横向添加Datanode的机器，进行存储层扩容，提升HBase的数据存储能力和提升后端存储的读写能力。
高并发、高读写性能
由于目前大部分使用HBase的架构单个IO延迟是可接受的。并且在高并发环境下，HBase的单个IO延迟下降不严重。HBase天然方便构建高并发、低延迟的服务。当然其满足了我们同时小时内亿级读写数据需求。
稀疏
稀疏主要是针对HBase列的灵活性，在列族中，你可以指定任意多的列，在列数据为空的情况下，是不会占用存储空间的。
rowKey前缀扫描
HBase支持rowKey前缀扫描分批拉取数据，预拉取数据缓存本地。主键scan功能可覆盖触达策略蓄水池业务查询需求。大数据量下数十万条数据每秒的拉取性能满足查询的性能要求。
4.3 HBase简单介绍
4.3.1 HBase 架构图
4.3.2 介绍下蓄水池功能中用到的HBase
HBase是天然的分布式数据库，Table可类比MySQL表中的Table，Region可类比MySQL分库分表中的一张分表，rowKey可类比MySQL表的主键id。单个Region区数据过多时，HBase会将Region分裂为多个Region，由HBase控制。建HBase表时可指定预分区，举个例子，依据rowKey大小可设置小于1的任意字符到1、1到2、2到3、3到4、4到5、5到大于5的任意字符这6个Region分区。预设分区的目的是使HBase存储的数据和流量可以均匀的分布到不同的Region上。
4.4 蓄水池技术结构介绍
算法降价商品举例：
生产者
获取到降价商品数据后生成rowKey = hash(spuId+分隔符+templateCode)+分隔符+spuId+分隔符+templateCode+分隔符+userId，rowKey在HBase上是有序排序的，这样的rowKey可以将不同组数据离散到不同的HBase分区上，同时又保证了同样的推送spuId的数据在一片连续的内存，通过顺序读的方式提升数据读取性能一个数量级。rowKey设计前缀hash(spuId+分隔符+templateCode)，这么做的其目的可以将数据打散分布到所有Region上，解决了spuId数据前缀相同导致的热点数据问题，同时经过hash后所有rowKey数据分布的更离散。HBase数据转换器可以将HBase需存储的数据尽量压缩减少空间占用保证HBase的高性能。
HBase数据池
HBase数据池的职责存储数据，并根据rowKey值分布和范围均等分割到不同的预分区上，然后将分区均等的分布到不同的RegionServer上，并按照rowKey做排序。
消费者
消费者在服务器上是一个常驻线程。数据分配器尝试获取某个分区数据的处理权限，数据获取器根据rowKey范围从HBase分批扫描式遍历获取到数据，一次获取到的数据都是可批量发送的push数据，将满足时间阈值和数量阈值的数据流入到数据解析器。数据解析器将HBase数据解析为业务数据，紧接着进入限流器和行为执行器。最终将已处理的数据从HBase中删除。处理结束后，数据分配器尝试获取下一个分区数据的处理权限，重复上述步骤。
触达策略蓄水池rowKey，预分区实践
触达策略HBase有n台实例机器，要使每台HBase机器分配m个分区，预分区设置m*n个分区，分区区间设置为小于1的任意字符到1、1到2、2到3、3到4、4到5....m*n-1到大于m*n-1的任意字符。rowKey的hash前缀设定位 0、1、2、3、4、5到m*n-1，然后数据和后续的HBase请求流量会均匀的分配到每台机器上以及每个分区上。消费者设置n个消费者，保证每个分区实时有一个消费者在处理数据。当然以上分区和消费者数量都是可动态横向扩展的，满足后续扩量和提高处理能力需求。
5. 结语
触达策略平台总体来说是任务和策略和行为，等到任务执行时间，获取圈到的人群，再对人群内的所有人按照任务下的策略执行任务下的行为。后续是针对这个核心流程做各个功能和细节上的丰富和扩展。
蓄水池功能上线后收到了满意的效果,每天2个小时内亿级的算法推送数据能够稳定运行。后续算法推送会继续新增场景以及扩大推送用户量，依据目前的系统负载情况，可预见蓄水池能稳定支持。
参考文献:
https://hbase.apache.org/book.html
文｜王鹏亮
关注得物技术，做最潮技术人
从百万到亿级，得物触达策略平台是如何做的？相关推荐
- excel统计行数_百万到亿级数据，快速统计查询
大家好,我是dk.这是Excel神器PowerQuery实战入门系列的第3篇.往后,我会更新更多关于PQ的相关内容,有兴趣的小伙伴可以关注下. 众所周知,Excel2003版最大行数是65536行,到 ...
- 基于flink+clickhouse构建亿级电商全端用户画像平台训练营
每个人都应该有一套自己的学习方法,但是在实际的生活中很多人都没有找到,但是无关紧要,一开始我们可以先参照别人的,在以后可以慢慢的养成一套属于自己的学下方法,下面就来分享一篇培训班学员的学习方法,给大家 ...
- 千亿级金融场景下，基于Pulsar的云原生消息队列有怎样的表现？
导语 | 云原生场景,多语言.多种协议兼容,任意多的消息 Topic.任意多的消费者,性能的按需快速扩展成为消息队列基本的要求.本文是对腾讯TEG技术委员会专家工程师刘德志老师在云+社区沙龙 onli ...
- 24 亿级用户超级 APP 背后的全技术大揭秘
进入十亿级用户"APP 俱乐部",可以说是很多做 APP 的公司梦寐以求的目标. 2017 年,刚刚成立 2 年的茄子科技(海外 SHAREit Group)交出了一份亮眼的出海成 ...
- 优酷用户触达平台技术大揭秘
作者| 阿里文娱技术专家 曾辰 责编 | 李雪敬 出品 | CSDN(ID: CSDNnews) 前言 优酷在用户运营场景上,沉淀了丰富的用户运营及营销触达策略.为了保障用户的持续活跃,当用户进入产品 ...
- 企业如何搭建物联卡云平台
物联卡与物联卡云平台都是物联网生态系统中的重要组成部分,它们之间相辅相成,共同构建和谐的物联网运作环境,是物联网反映于社会智能设备的重要工具.如今物联卡在政府调控与市场推动下连接数量暴增,对于物联网企 ...
- 从预售到催付尾款，看电商双11如何运用精细化内容触达，实现爆发式增长
史伟明--现任百应运营专家,从事互联网营销10年,私域运营6年,私域咨询顾问3年 增长运营专家:游走在产品.运营.研发.设计等环节之间的多面手,熟悉企业微信运营.用户裂变增长.活动运营等多种运营手段, ...
- 一个PUSH系统是怎么做到友好触达的？
背景 在Omega实时触达系统的系列技术文章中,已经对行为采集中心.CEP规则中心.用户触达中心三个子系统进行了详细介绍.Omega实时触达系统的核心能力是基于用户行为实时推送给用户感兴趣的内容, ...
- 一个实时精准触达系统的自我修养
问题定义 在互联网行业,唯一不变的就是一直在变化.作为技术同学,我们经常会碰到以下几种需求: 当用户收藏的商品降价后及时通知用户,促进双方交易达成:新用户或90天内未成交的用户浏览多个商品后引导用户主 ...
最新文章
- Nature指数2021亚太区排名：7所中国高校挺进前10！看看有没有你的母校？
- LINUX下UDP实现消息镜像通信,linux环境下基于udp socket简单聊天通信
- [BZOJ1509][NOI2003]逃学的小孩
- Android Studio Process 'command ...\aapt.exe'' finished with non-zero exit value 1
- 机器学习基础（六十二）—— 白化
- Leetcode 236.二叉树的最近公共祖先
- HTML中 等6种空白空格的区别
- linux下keytool生成证书_keytool命令
- xmapp下mysql的密码更改
- pymc3学生成绩分析和预测（补充+翻译）
- DELL G3 3690耳机插入不显示，没声音
- 第八届“中国软件杯”大学生软件设计大赛总决赛落幕
- Codeforces 731C Socks By Assassin
- Markdown 中的flow语法 flowchart.js 的基础教程
- 计算机的同步操作与异步操作的概念,运城计算机同步与异步的概念和应用方法...
- 网站反爬指南：政府网站篇
- python控制windows窗口、并输入数据_python win32api win32gui win32con 窗口句柄 发送消息 常用方法 键盘输入...
- RepLKNet代码解读（31大小的卷积核）
- 腾讯蔡晨：十年沉淀，腾讯iOA为企业安全保驾护航 1
- MongoDB 聚合 aggregate 的 match 和 project 阶段样例