轻松hold住双11数据洪峰背后的秘密
双11刚刚拉下帷幕,激动的心还停留在那一刻——当秒针刚跨过11号零点的一瞬间,来自线上线下的千万剁手党在第一时间涌入了这场年度大趴——从进入会场到点击详情页,再到下单付款一气呵成。
前台在大家狂欢的同时,后台数据流量也正以突破历史新高的洪峰形式急剧涌入:
- 支付成功峰值达 25.6 万笔/秒
- 实时数据处理峰值 4.72亿条/秒
而作为实时数据处理任务中最为重要的集团数据公共层(保障着业务的实时数据、媒体大屏等核心任务),在当天的总数据处理峰值更是创历史新高达1.8亿/秒!
想象下,1秒钟时间内千万人涌入双11会场的同时,依然应对自如!
面对流量峰值为去年100%增幅的数据洪峰,流计算技术今天我们突破的不止一点点,现在让我们揭开覆盖全集团实时数据的最新流计算技术吧!
流计算的产生即来源于数据加工时效性的严苛需求:
由于数据的业务价值会随着时间的流失而迅速降低,因此在数据发生后必须尽快对其进行计算和处理,从而能够通过数据第一时间掌握业务情况。今年双11的流计算也面临着一场实时数据洪峰的考验。
首先来展示今年(2017年)较去年(2016年)数据洪峰峰值的比较:
2016年:支付成功峰值12万笔/秒,总数据处理峰值9300万/秒
2017年:支付成功峰值25.6 万笔/秒,实时数据处理峰值 4.72亿条/秒,阿里巴巴集团数据公共层总数据处理峰值1.8亿/秒
在今年双11流量峰值翻翻的情况下,依然稳固做到实时数据更新频率:
——从第1秒千万剁手党涌入到下单付款,到完成实时计算投放至媒体大屏全路径,秒级响应!
面对越发抬升的流量面前,实时数据却越来越快、越来越准!在轻松hold住数据洪峰的背后,是阿里巴巴流计算技术的全面升级。
阿里数据在11月28日的北京,将会举办一场闭门分享。你可以了解,技术创新的背后,数据人是如何为之努力的。针对流计算环节,我们将分享
流计算应用场景
数据中台流计算实践中的数据链路
计算引擎升级及优化
……
同时,本次双11闭门分享还会涉及:双11数据保障始末、又准又快的实时计算、酷炫到飞起来的媒体大屏……
同时,本次双11闭门分享还会涉及:双11数据保障始末、又准又快的实时计算、酷炫到飞起来的媒体大屏……
原文发布时间为:2017-11-21
本文作者:双11分享北京站
本文来自云栖社区合作伙伴“阿里数据”,了解相关信息可以关注“阿里数据”微信公众号
轻松hold住双11数据洪峰背后的秘密相关推荐
- 如何扛住1.8亿/秒的双11数据洪峰?阿里流计算技术全揭秘
阿里妹导读:今年的双11再次刷新了记录--支付成功峰值达25.6万笔/秒.实时数据处理峰值4.72亿条/秒. 面对较去年增幅100%的数据洪峰,流计算技术可谓功不可没.今天,我们将揭开阿里流计算技术的 ...
- 【双11背后的技术】双11数据大屏背后的实时计算处理
选自<不一样的技术创新--阿里巴巴2016双11背后的技术>,全书目录:https://yq.aliyun.com/articles/68637 本文作者:藏六 黄晓锋 同杰 1. 双 ...
- 第六章 大数据,6.1 双11数据大屏背后的实时计算处理(作者:藏六 黄晓锋 同杰)...
6.1 双11数据大屏背后的实时计算处理 1. 双11数据大屏的实时计算架构 1.1 背景 2016年的双11我们的实时数据直播大屏有三大战场,它们分别是面向媒体的数据大屏.面向商家端的数据大屏.面向 ...
- 阿里巴巴双11数据大屏背后的实时计算处理
作者:藏六.黄晓锋.同杰 1.双11数据大屏的实时计算架构 1.1 背景 2016年的双11我们的实时数据直播大屏有三大战场,它们分别是面向媒体的数据大屏.面向商家端的数据大屏.面向阿里巴巴内部业务运 ...
- 96秒100亿!如何抗住双11高并发流量?
点击上方"朱小厮的博客",选择"设为星标" 后台回复"加群"加入公众号专属技术群 来源:uee.me/c9UsN 今年双 11 全民购物狂欢 ...
- 第一百一十二期:96秒100亿!如何抗住双11高并发流量?
今年双 11 全民购物狂欢节进入第十一个年头,1 分 36 秒,交易额冲到 100 亿 !比 2018 年快了近 30 秒,比 2017 年快了近 1 分半!这个速度再次刷新天猫双 11 成交总额破 ...
- 2020双11数据大屏设计:全球数据博物馆
数据艺术"是本次双11数据大屏设计过程中产生的新名词,这样的表现手法需要由设计师与前端.算法同学合力完成,而并非传统意义上的设计作品. 我们的目标,从来都是星辰大海.2020年,各个国家的大 ...
- 【云周刊】第147期:解密天猫双11 1682亿背后的“霸下-七层流量清洗”系统
摘要: 解密天猫双11 1682亿背后的"霸下-七层流量清洗"系统,语音合成技术,从日志到双11大屏只要一步:LOG/SLS+DataV 打通,"业务为王"时代 ...
- 吉利2019年将推出首款飞行汽车;双11数据引京东阿里互怼|ServiceHot一周热闻
这几天关于京东和阿里的新闻可真不少~ >>>> 京东发了份"漂亮得不像话"的Q3财报 京东(Nasdaq:JD)11月3日发布了2017财年第三季度财报:净 ...
最新文章
- 2022-2028年中国房地产金融行业投资分析及前景预测报告
- 【OpenCV】将单通道的Mat对象转换为三通道的Mat
- 基于SSM+Layui实现医院预约挂号系统
- Xcode模拟器相关操作
- 2.3系列系统中不支持SimpleDateFormat作字段被序列化
- Android:Activity(页面)的生存周期
- kubectl更换镜像命令
- android分层测试,Android视图层次和性能的检测(官方)
- 微软Silverlight 5开发书籍汇总
- atitit 各个技术领域的top 200领域
- java sec_java.security文件
- 50页PPT,让你全面了解物联网产业链及发展趋势 | 附下载
- android系统程序卸载,怎样卸载Android系统程序
- 2016,后余额宝时代:基金电商沉浮录
- R语言入门——数据快速读取与查看(含实例代码和参数讲解)
- Python爬虫实战:抓取淘宝MM照片
- 双 JK 触发器 74LS112 逻辑功能。真值表_数电实验 | 时序逻辑电路
- 牛客网 - 在线编程 - 华为机试 - 求最小公倍数
- Android基础教程(二)之五大布局对象---FrameLayout,LinearLayout ,AbsoluteLayout,RelativeLayout,TableLayout.
- Web寻梦狮ionic1实战1-环境搭建及项目介绍
热门文章
- nextval数组求解
- 天齐锂业,登顶新一代锂王
- php程序员进阶过程,PHP程序员有前途的两条进阶路线
- 颠覆传统铝型材挤压生产,数字孪生生产方式来袭
- linux的fmt命令,Linux中fmt命令起什么作用呢?
- 华科计算机学院党办主任,学院党政综合办公室助管岗位职责
- Phoenix使用SALT_BUCKETS创建预分区
- java 生成mac地址
- spring-boot-starter-data-elasticsearch整合elasticsearch 6.x实现高亮highlighter解决办法
- window下基于vscode编译下载AT32工程备忘录