2019年双十一,淘系技术的突破与创新
2019 天猫双 11 全球狂欢节96秒成交额破百亿,24小时总成交额2684亿,创造了交易创建峰值 54.4万笔/秒的历史记录。天猫双11,已经不仅是购物节,也是品牌成长节、消费者互动节。天猫双11更是是商业的奥林匹克。
今年,双11走到了第11个年头,史无前例的,阿里经济体内有49支技术团队共同参与作战,也是第一次,双11的核心系统将100%跑在云上,这无疑让今年的双11技术作战充满了更大的挑战。
正如2019年双11技术团长平畴(汤兴)说的“「善战者,无智名,无勇功」,这是我们技术人最高的境界”。
我们一起捍卫了阿里技术人的荣耀,一个字 “稳”!
年年双11,回回新玩法,“在吗,盖楼吗?”成为了好友聊天的日常,每天蹲守等待淘宝直播的你是否也体会到了“真香定律”?而背后支撑如此大体量用户的淘系如何保障技术和业务的“丝般顺滑”?给大家带来今年双11最新最快的核心技术解读。
直播内容生态技术
今年淘宝直播已经促进了年度千亿级别的成交,阿里巴巴副总裁平畴表示“淘宝直播的内容模式,将一直引领消费的生活方式和消费重点,成为未来商业模式的主流”
2019 年双 11 直播已成为淘宝内容生态里程碑式的节点,其意义可对标 2015 年的淘宝无线化,所有的业务板块都在利用网红主播的巨大粉丝效应来放大品牌影响力,同时利用个性化的实时互动创造了新的内容运营模式。双11当天,直播最高在线突破,淘宝直播作为电商生态中新媒体、新内容、新生态的典型产品,不仅是承接链接用户和品牌的人货场,更多的是代表一种面向未来聚焦用户的新运营业态。
直播业务系统架构
直播体验的关键在于观看,但传统直播在弱网下、移动场景均存在固有缺陷导致画质不佳、频繁卡顿,同时传统直播中心化的分发模式成本也难以降低,多级分发的机制更是对优化时延提出挑战,均对用户体验带来诸多不利影响。淘宝直播基于以上问题,自研了全新的音视频实时通信引擎,去中心化设计,支持横向级联,实现了大规模低延时直播,时延从原先 5-7 秒降低至 1 秒内,并在弱网下有更好的表现。数据显示,使用低时延直播后,直播间的 GMV 提升了 ,核心技术点包括:边缘接入、最佳路由、下行网络保障。
✦ 直播开放体系
直播生态存在多种参与角色,包括达人、商家、机构、平台、用户;需要针对不同的角色来设计差异化的商业变现手段,2019 年淘宝直播全面升级开放体系,目前已支持微博、UC、优酷等多端通过开放体系接入淘宝直播,实现了内容在多平台随时开播的能力。
其次,直播核心是粉丝经济,需要设计一套从新粉、铁粉、钻粉、挚爱会员亲密度体系来提升用户粘性,进而给主播提供更细粒度会员营销能力。今年双11基于淘宝直播的开放体系提供了多种灵活的营销玩法,并打通了招商系统、权益互动体系,提供了一站式的实时用户互动平台,赋能业务赋能商家。
✦ 智能直播商品识别
在内容 AI 领域,利用端侧算法识别主播讲解的商品,将直播内容结构化,进而将实时内容转为离线的带有商品语义的视频切片,提升了直播在长尾分发的效果和规模,促进了用户的进店率、购买转化率。技术上来看,直播商品识别,本质上是一个视频到图像的小库跨域实时检索问题,从query信息比较明显的服饰场景切入,通过目标检测,逐渐细化可能的query目标主体,并对主体进行检索,主要的任务先检测人、检测衣服,然后检测视频帧主体到商品图像检索。目前已经实现了淘宝天猫服饰场景的全覆盖。
智能 Push 技术
面对用户不断差异化的购物需求,手淘不断进行了全面升级,打造了个性化的用户购物体验。
依赖端智能的计算能力,我们在业界首次打造了云/端联动的全链路智能化营销投放(Push)平台,全面支持端侧实时场景化决策、用户状态实时感知和商品营销个性化投放。通过人、货、场全方面一体化的智能化链路改造,提升营销内容和通知消息的有用性和及时性,使推送更加懂你所想。
双11当天,端侧实时智能 Push 覆盖了手淘主要用户,通过对用户的实时个性化推送引导,相比去年双11,大促会场的引导打开量提升了105%。通过云端一体化的全链路智能营销架构的技术创新,我们成功的帮助用户在大促中更容易的找到自己心仪的商品,也帮助商家和平台实现了精准化和个性化的营销,实现了用户,商家和平台的三赢。
手淘智能Push平台
✦ 端侧
建立了全域标准化用户行为中心,使得手淘可以在第一时间感知用户的实时行为,并且在端上直接加工成为标准化的特征。依赖于端侧机器学习推理框架,我们在端上部署了智能意图预测系统,通过情景计算框架可以准确实时感知用户的场景需求和预测各种购买意图,将这些场景需求和购买意图输入到端上的智能决策模块后,由决策模块决定是否向云端发起对用户的消息提醒和触达,实现亿级用户的全域秒级精准触达能力。
✦ 云侧
用户全生命周期管理平台作为服务端的大脑,主要起两个作用。首先,它会获取用户的各种数据和状态,并且实时下发给端侧,帮助端侧进行智能决策;其次,它还会监听端侧发起的触达请求,结合用户的生命周期状态,来决定触达的方式。策略任务调度平台负责整个消息发送的触发和调度,并且具备实时人群过滤的能力,过滤不必要的消息发送。最后的个性化算法平台,通过整合全链路的场景化信息,结合用户状态进行个性化匹配,判断用户当前应该推荐的最佳内容。
经过多个系统的流转,合适的内容可以在合适的时机推送给合适的用户,通过收集用户的实时反馈,进一步优化后续的消息内容。整体上,我们希望通过从端侧到云侧的全链路平台化架构,能够做到真正的场景化、智能化、个性化的推送体验。
自适应限流技术
2019年阿里巴巴的第11个双11,随着业务的不断发展,应用数量、拓扑依赖与复杂性都在持续增长;流量模型的有效预测会更加困难。系统与流量的不确定性都会导致系统处理容量评估疏漏或评估过时(如明星官宣结婚带来热点流量暴涨),这些情况在双11等大型复杂活动中上会更加突显。
面对上述稳定性问题,诺亚(Noah) 自适应限流系统采用不同于业界传统的针对 QPS 限制的静态限流方法,首次以自动控制算法为核心手段,提供自适应限流方案,解决了限流过时的痛点,大幅提升应用抵抗流量冲击的能力,极度简化了限流配置工作,同时在系统资源利用率、用户体验、运维效率等方面均有大幅优化效果。
诺亚(Noah)
诺亚目前已上线超过9个月,已有大量容器规模部署运行了诺亚。在线上实战和全链路压测中,诺亚保护了大促会场、直播、导购等等核心业务场景;应用在出现容量缺失30%或近20倍大流量脉冲不预期场景下保持稳定运行。
诺亚(Noah)自适应限流的数据效果:
压垮 QPS 上限最高可提升 20 倍于业务负载流量;
在负载压力减少后1秒快速恢复服务,大流量下仅需直接扩容机器一步即可;
对于用户体验的优化,应用在负载情况下,服务成功率最高可提升 2.7 倍,同时响应时间维持正常水平不劣化;
对于成本的优化,资源利用率最高可提升 100%(去除为了稳定性/不确定性而留的资源冗余);
对于应用稳定性运维效率的优化,应用过载时直接扩容即可、使全链路压测更顺畅,无需人工设置,避免人工评估错误导致系统被压垮后需要大量调整时间。
诺亚(Noah)在双11大促过程中,保障大量业务应用系统,提升稳定性、提升资源利用率、优化体验与效率,提升淘系(及更多BU)的稳定性底盘,成为应用稳定性保障的核心能力,推动了业界在大型分布式在线业务系统的高可用/稳定性保障的进展。
自适应限流控制效果:在流量飙升/大流量压力时,CPU稳定控制在阈值,且服务RT正常
诺亚(Noah)的后续发展:
自适应能力由限流拓展到隔离/熔断等更多稳定性能力上。
如自适应线程资源隔离、自适应服务比例、自适应服务熔断等等。由单机的自适应限流拓展到链路级,尤其是客户端流量入口接入层。
与接入层协同,可以让接入层通过的流量即应用收到流量 与 应用的处理容量 自适应匹配,确定性地保障应用稳定性。自适应控制处理流量拓展到自适应伸缩容,即流量控制与处理资源控制/伸缩容协同。
无论是流量的控制还是资源的控制,都是为了让处理容量与资源容量匹配,保证系统不过载稳定性与业务请求的成功率。
闲鱼团队是Flutter+Dart FaaS前后端一体化新技术的行业领军者,就是现在!客户端/服务端java/架构/前端/质量工程师面向社会招聘,base杭州阿里巴巴西溪园区,一起做有创想空间的社区产品、做深度顶级的开源项目,一起拓展技术边界成就极致!
*投喂简历给小闲鱼→guicai.gxy@alibaba-inc.com
开源项目、峰会直击、关键洞察、深度解读
请认准闲鱼技术
2019年双十一,淘系技术的突破与创新相关推荐
- 2021双11淘系技术九大技术亮点发布
每一年的双11,淘系技术都在努力让技术变得更好一点: 每一年的双11,淘系技术都希望利用前沿新技术,让双11变得更好逛更好玩: 每一年的双11,淘系技术都致力于用技术的力量,带来一场绿色低碳又不失温暖 ...
- “保持耐心”,永远从用户角度出发— 专访阿里巴巴淘系技术内容中台负责人吴桂林(梁舒)...
互联网电商的出现为人们的生活带来了很大便捷,随着媒体化的趋势和发展,更多电商相关如直播.短视频等内容形式纷纷涌现,带来的是更高的技术要求与挑战. 以下内容由LiveVideoStack对阿里巴巴淘系技 ...
- 淘系技术内容中台负责人接受采访回应“淘宝为什么要做媒体化升级”
互联网电商的出现为人们的生活带来了很大便捷,随着媒体化的趋势和发展,更多电商相关如直播.短视频等内容形式纷纷涌现,带来的是更高的技术要求与挑战. 以下内容由LiveVideoStack对阿里巴巴淘系技 ...
- 为更美好的商业生态,淘系技术全力以赴
"这是天猫双11的第13个年头,轮回之后,新启之年.Let's go to happiness是今年双11的主题,我们不仅希望为消费者带来购物的快乐,消费体验持续升级的同时,与生态伙伴.客户 ...
- 首次公开 | 淘系技术总监马鏖谈淘系用户增长
作者|马鏖 出品|阿里巴巴新零售淘系技术部 导读:近年来,关于用户流量的瓶颈让很多企业感到焦虑不安,互联网用户整体增速放缓,用户规模趋于饱和.同时,竞争个体成倍增长,流量资源争夺越发激烈,流量成本日 ...
- 精华来了(含PPT) | 淘系技术嘉年华-杭州站
出品|阿里巴巴新零售淘系技术部 2019年8月3日,「淘系技术嘉年华-杭州站」移动端的技术创新和实践,在阿里巴巴西溪园区举办,38 度的高温也挡不住大家对技术的热情,170 位开发者齐聚,进行了一次面 ...
- 干货分享 | Swift在淘系技术的演进历程
7月初,淘系技术联合老司机技术周报举办了今年淘系技术.T 沙龙杭州专场,此次活动共邀请4位国内嘉宾,2位国外嘉宾. 淘系技术专家倾寒为大家带来关于<淘系工程渐进式拥抱Swift>的分享. ...
- “阿里新零售技术”天团闪耀硅谷 淘系技术推动线上新零售业产业革命
美西时间5月11日,阿里巴巴淘系技术嘉年华在硅谷成功举办.以技术创新闻名的硅谷,迎来了一次与阿里新零售技术的亲密接触.阿里巴巴副总裁,新零售淘系技术部负责人平畴携淘宝.天猫等多位淘系资深技术专家在活动 ...
- 浙江大学走进淘系技术,了解阿里淘系电商技术发展史与企业文化
2021年6月11日下午,以"科技橙就新商业"为主题,由浙江大学计算机学院和阿里巴巴淘系技术共同举办了"浙江大学走进阿里巴巴淘系技术"活动,50位浙大计算机专业 ...
最新文章
- (原創) 如何將CMOS所擷取的影像傳到PC端? (SOC) (DE2) (TRDB-DC2)
- 无法在指定计算机上定位,Win10电脑无法打开定位功能时启动GeolocationService服务提示找不到文件怎么办...
- 设置 Confluence 6 日志
- spring配置详解-模块化配置
- 测试用例设计方法_黑盒测试——测试用例设计方法
- 未来教育计算机二级书怎么样,未来教育计算机二级
- POJ2391 Ombrophobic Bovines
- PHP童鞋改JAVA代码怎么处理
- 【数据库原理实验(openGauss)】数据库的备份与恢复
- OS开发(Objective-C)常用库索引
- CATIA二次开发—漫谈开发环境
- NPN三极管导通数据总结
- 身份证实名认证设计、实现思路
- C#免装oracle客户端查询AMERICAN_AMERICA.US7ASCII字符集 中文乱码解决办法
- 此图片来自微信公众平台 未经允许不可引用
- PUCCH format2中的RM码(reed muller code)和Polar码
- html中的innerHTML的用法
- 数据结构之堆(Heap)及其用途
- 网站设计的理念与方法
- HackerRank Nested Lists
热门文章
- 各类型博物馆典型案例分析
- Android中保持Service的存活
- SolidWorks 如何出 剖面图?
- 计算机网络形成及发展,1计算机网络形成和发展历程
- 除了“卖奶”给伊利,“乳业上游第一股”优然牧业还有什么盼头?
- 重磅!阿里云时空数据库正式免费公测
- 中秋福利 | 漂亮的React后台源码真情大放送
- UV动画/纹理融合/法线贴图/过程纹理
- .office2007安装时,提示找不到Office.zh-cn下的OfficeMUI.msi解决方法
- Python的文件操作以及异常