双十一高并发场景背后的数据库RDS技术揭秘

【战报】11月11日聚石塔（阿里云数据库RDS产品形态）峰值QPS突破X00w，Proxy 峰值QPS超过X00w。

双十一就要来了，全世界都为其疯狂，但是在双十一抢购中经常会出现几万人抢一个红包或者很多人共同购买一个商品的情况，这就引发了一个数据库比较担心的场景----高并发。作为历届双十一重要保障之一的云数据库RDS部门，从参数优化、链路访问、弹性扩容、架构设计等方面应对高并发场景（如秒杀、百万人抢单等），保障双十一顺利进行。那么背后的技术是如何实现的呢？本文，将带您展开双十一阿里云RDS数据库背后技术的小秘密。

参数优化
在处理“高并发”场景的时候，一些特定的数据库参数就成为能否保障数据快速响应和平顺处理“高并发”问题，就成了关键，如下列出了几个特别重要的参数：
•loose_rds_max_tmp_disk_space：控制MySQL能够使用的临时文件的大小；
•loose_rds_threads_running_high_watermark：控制MySQL并发的查询数目，常用于秒杀
•loose_tokudb_buffer_pool_ratio：控制TokuDB引擎能够使用的buffer内存大小
•loose_max_statement_time：控制查询在MySQL的最长执行时间

举例说明，秒杀场景下的参数设置与影响：
loose_rds_threads_running_high_watermark

是“秒杀”场景开始的时候，可以看到连接数成指数级变化，瞬间增加了10倍

调整参数之前，可以看到RUN数量非常高，会导致数据库报警

调整参数之后，update数值与run数值承更好的方向变化

链路访问
在链路访问方面，我们提供更高安全性的数据库代理访问模式，用户可以根据需要随时开启或关闭。数据库代理的规格大小由RDS系统自动管理，可以在保证租户间资源隔离的前提下，根据负载大小自适应调节。数据库代理对应用透明无感知，也无需人工干预，大大降低了运维成本。
如下图所示

数据库代理位于应用程序（Client）和数据库引擎（Database Engine）中间，由RDS系统自动进行维护，所有的数据库请求（Request）和响应（Response）均从代理层经过和处理。

目前，数据库代理支持如下功能：数据库代理支持以下功能：
• 透明切换：RDS实例在发生故障、规格升级或降级时，数据库代理可以使实例切换更加柔和，降低对应用的影响。
• 读写分离：提供透明的读写分离功能，应用层无需修改代码，查询分发到RDS只读实例，降低主库的负载。

• 短连接优化：突发高并发的短连接（常见于PHP应用）在代理层进行缓冲，减轻对DB层的冲击，降低RDS的CPU负载和CPS（每秒新建连接数），保障数据库运行稳定。
• 防暴力破解：保护RDS实例账号密码，规避账号密码被暴力破解。

弹性扩容
在扩容升级的过程中，主要分为两种情况：本机升级和跨机升级

本机升级

跨机升级，还要做备份数据和日志的迁移工作

扩容升级的常见问题

为什么有时候升级需要很长时间？
可能发生了跨机迁移，迁移时间受限于数据库大小以及系统压力
可用区迁移，数据库版本升级为什么耗时较长？
这两者迁移都会发生跨机迁移
空间升级为什么非常快？
空间升级不用重启迁移数据库
选择弹性扩容的时间
建议在业务低峰期，最近一次备份任务完成后进行升级

架构设计
为了应对日渐增长的双十一购买数据量和仓储数据量，RDS也对各个支持的数据库进行了新的架构设计。
如下表，引擎选择方面：ApsaraDB for RDS，当前支持4款关系型引擎，提供容灾、备份、恢复、监控等方面的全套解决方案
：

RDS自带的读写分离，让用户使用更方便：

另外，安全问题也一直是商家和用户最关心的问题，在疯狂的‘剁手’中，您一定不想您的商品信息或者购买信息有安全披露，对于这个问题，RDS在安全方面也做了多重保护和设计：

除了以上几点，RDS团队还对数据库的性能等进行了重新的优化，让商家和购买者在抢购中完全不用担心数据库的性能和安全问题，无忧无虑的‘剁手’，尽情享受双十一盛会！

原文链接
本文为云栖社区原创内容，未经允许不得转载。

双十一高并发场景背后的数据库RDS技术揭秘相关推荐

读数据库遇到空就进行不下去_如何解决高并发场景下缓存+数据库双写不一致问题?...
推荐阅读: 一只Tom猫:手撕分布式技术:限流.通讯.缓存,全部一锅端走送给你!zhuanlan.zhihu.com 一只Tom猫:MySQL复习:20道常见面试题(含答案)+21条MySQL性能调 ...
【字节跳动背后的音视频技术揭秘】
在过去的一年中,我们可以看到多媒体特别是音视频技术的能力在严峻的挑战下,为各行各业带来了巨大的变化.疫情过后,又会有哪些多媒体新技术.新实践呈现在大众的视野当中?为行业的发展与应用带来哪些新的趋势与机 ...
【云周刊】第145期：2017天猫双11总交易额1682亿，背后阿里绝密50+技术揭秘！
摘要: 2017天猫双11总交易额1682亿,背后阿里绝密50+技术揭秘!智能语音交互:阿里的研究和实践,干货满满:Android热修复方案介绍,2017云栖大会广州分会火热报名中...更多精彩内容, ...
滴滴全民拼车日背后的运维技术揭秘
桔妹导读:抗击疫情,桔妹提醒大家出门带好口罩,勤洗手,多通风.武汉加油!中国加油!在大家开工之际,桔妹邀您阅读滴滴全民拼车日背后的运维技术揭秘. 滴滴在2019年12月举办了空前盛大的全民拼车日活动, ...
第145期：2017天猫双11总交易额1682亿，背后阿里绝密50+技术揭秘！
本期头条 2017天猫双11总交易额1682亿,背后阿里绝密50+技术揭秘! 2017年天猫双11全球狂欢节28秒破10亿,3分01秒破百亿,40分12秒破500亿,9小时破1000亿,交易峰值32. ...
【免费活动】字节跳动背后的音视频技术揭秘
音视频技术在近几年呈现突飞猛进的发展,一方面满足了企业对于业务高速增长的需求,另一方面也为业务的发展创造了更多的可能性. 活动介绍 10月29日 | 北京 LiveVideoStack将联合火山引擎的 ...
高并发场景下更新数据库报错，记录一次 MySQL 死锁问题的解决
作者 l 会点代码的大叔(CodeDaShu) 今天隔壁项目组的开发小姐姐找到我,说她们项目正在做压力测试,更新 MySQL 数据库的一张表时,总是发生死锁,日志大概是这个样子的: org.sprin ...
阿里、百度、美团都在用的‘’高并发秒杀系统‘’；抢红包、秒杀活动、微博热搜、12306抢票等高并发场景
"秒杀活动"."抢红包"."微博热搜"."12306抢票"."共享单车拉新"等都是高并发的典型业务场 ...
高并发库存秒杀场景，阿里巴巴数据库是这样应对的
简单库存场景的数据库实现一般来说,从数据库层面讲,库存业务会分为两步,第一步是插入一条记录到扣减明细表inventory_detail,第二步是对库存扣减表inventory的一条记录进行扣减,这两 ...

双十一高并发场景背后的数据库RDS技术揭秘

双十一高并发场景背后的数据库RDS技术揭秘相关推荐

最新文章

热门文章