腾讯云CDB/CynosDB技术揭秘
点击观看大咖分享
数据库，简而言之可视为电子化的文件柜——存储电子文件的处所，用户可以对文件中的数据运行新增、截取、更新、删除等操作。所谓“数据库”系以一定方式储存在一起、能予以多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。
数据库行业发展
1978年-1990年，数据库在国内登场，国防和军工核心领域开始应用数据库。2000年左右互联网兴起，由于Oracle成本过高，MySQL技术开始在互联网公司一统江湖。2013年至今，开源数据库已经呈现百花齐放的格局。
随着国际形势的变化，在新基建的大浪潮下，国产数据库已经到达发展的良好阶段。我们对目前的国产数据库做出分类，主要分为4类：传统国产数据库、互联网数据库、新兴数据库和第三方平台型。互联网数据库的厂商，在自身内部一般都有相应的技术积累及应用经验，以腾讯为例，腾讯云数据库在产品化前，就应用于财付通、微信支付和王者荣耀等业务中。
腾讯云数据
下图是腾讯云数据库产品的布局全图，底层是PaaS产品；在此之上，数据库团队还为用户准备了很多数据库界别的SaaS产品，包括迁移上云服务、智能管家DBBrain和数据库管理服务等。我们会根据电商模块、金融模块、零售模块等各类用户行业的需求，来反思PaaS和SaaS数据库产品的迭代。腾讯云的产品演进，都是首先从自有业务的打磨开始的。
腾讯云数据库产品在研发时要遵循6大设计理念：保持数据强一致，金融级高可用，互联网高性能，高安全性，良好的扩展，健康的运维；这些设计理念都能从腾讯云CDB这个产品上体现。
新基建对数据库行业的机遇
新基建包括5G基站特高压、城际高速铁路和城市轨道交通、新能源汽车充电桩、大数据中心、人工智能和工业互联网七大领域。新基建对于数据库行业的冲击兼具机遇和挑战。新基建时代来临时，数据量会发生井喷，因此在线交易数据库的性能会实现爆发，在线分析数据库会出现业务井喷。其次，会出现数据多模的业务需求，业务融合呈现多样化。数据库要实现自动化治理。
为了迎接新时代，数据库产品需要全面升级，借助云的能力，向“云+数据库”模式转变。迎合用户旧的习惯，并培养用户新的习惯，全面兼容MySQL/PG/Orade协议，为用户提供OLTP的产品能力。在自治方面，随着数据量的大批量提升，要往智能诊断和调优大脑方向进行布局。新基建需要超融合的产品发展动向，需要多模融合、业务融合、场景融合和管理融合。
安全是腾讯内部非常重视的一个业务，自2013年起就十分关注安全教育事业的发展和安全人才的培养。成立犀牛鸟基金，致力于推动学校和科研的发展。腾讯举办的TCTF大赛也是国内目前数一数二的CTF赛事。2017年腾讯与教育部签署教育合作备忘录，2018年成立腾讯安全学院。从一系列动作都可以看出，腾讯对于安全人才的培养的重视。近年来腾讯安全逐步吸纳了上百万的安全专家，其中最著名的就是七大联合实验室的掌门人，他们都是国内最顶尖的白帽黑客。
除此以外，我们还推出了腾讯云网络安全运维认证，这是腾讯面向社会推出的针对安全运维岗位的企业级认证资格，适用于高等院校的网络工程专业、信息安全专业、云计算和计算机应用类专业的学生群体。这个认证的考核内容与网络安全运维实际工作岗位所需技能和要求是高度匹配的，获得认证的同学可以进入我们的人才库，被腾讯及其生态企业优先录用。
CynosDB计算引擎关键技术
CDB的产品普遍使用这样的架构图，这种架构设计存在一些痛点：数据库容量受限于单机磁盘容量。扩容力有限。普通复制可能会丢数据，同步复制性能差。可用性受限，HA和恢复速度慢。只读备机部署速度慢，存储和IO冗余。
基于这些痛点，我们设计了CynosDB的架构。在新的架构设计下，数据库容量可以扩展到100T。存储层三副本，确保不会丢数据。HA和恢复速度快，主从延迟小。只读备机部署速度快。
这张图片是计算存储分离架构RIO的架构图，RIO具有无锁化和并行化的技术特征。IOI队列无锁化，提升并发度。这样的架构还有利于充分利用底层存储节点的IO并行能力。
在整个计算存储分离的架构中，日志是核心点，写日志的效率很大程度上决定了系统的吞吐量。我们对日志系统进行了优化，实现日志缓冲区无锁化，增加了写日志的并发性，还并添加了写日志专有线程，提高了写日志的效率。
对于异步组提交来说，事务为提交时，不用等待日志罗盘，而是进入提交队列，线程可以回到线程池连续获取新的任务执行。日志写线程完成日志罗盘，将一组事务放入任务队列，继续完成剩下的提交操作。
Btree的一致性首先新增SMO日志来标识Btree的分裂或合并操作，然后应用SMO日志时更新index：：sync lsn。访问Btree页面时如果判断在SMO中，则重新打开游标。
问卷
为了给广大开发者提供最实用、最热门前沿、最干货的视频教程，请让我们听到你的需要，感谢您的时间！点击填写 问卷
腾讯云大学是腾讯云旗下面向云生态用户的一站式学习成长平台。腾讯云大学大咖分享每周邀请内部技术大咖，为你提供免费、专业、行业最新技术动态分享。
腾讯云CDB/CynosDB技术揭秘相关推荐
- 直播丨MySQL之父Monty来咯，腾讯云CDB/CynosDB技术揭秘之自主可控、前沿探索
CDB作为腾讯云最早的MySQL生态云数据库,其内核在MySQL官方版本的基础上做了大量的新功能添加和性能优化,已经成为腾讯云上规模最大.最受欢迎的数据库产品.为了满足用户的更高要求,CDB团队研发了 ...
- 直播丨墨天轮邂逅MySQL之父，腾讯云CDB/CynosDB技术揭秘之自主可控、前沿探索
CDB作为腾讯云最早的MySQL生态云数据库,其内核在MySQL官方版本的基础上做了大量的新功能添加和性能优化,已经成为腾讯云上规模最大.最受欢迎的数据库产品.为了满足用户的更高要求,CDB团队研发了 ...
- 腾讯云CDB的AI技术实践：CDBTune
欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 作者:邢家树,高级工程师,目前就职于腾讯TEG基础架构部数据库团队.腾讯数据库技术团队维护MySQL内核分支TXSQL,100%兼容原生My ...
- 腾讯云机器学习平台技术负责人：揭秘深度学习平台DI-X背后的秘密
本文转自:https://news.cnblogs.com/n/566061/ 腾讯正式发布了旗下深度学习平台 DI-X(Data Intelligence X),这是继今年 1 月推出 FPGA 云 ...
- MySQL之父直播公开课来了！与腾讯云CDB专家天团联袂分享
在各行业爆发式增长的云时代,传统IT架构已无法满足企业需求.相比较于传统数据库,国产数据库技术取得了长足进步,也更适用于企业的生产环境和IT系统. 作为腾讯云最早的 MySQL 生态的云数据库,CDB ...
- 腾讯云数据库 CynosDB应用场景与产品优势有哪些？
本文分享 腾讯云数据库 CynosDB应用场景与产品优势有哪些? 更多更多参阅腾讯云官方云数据库 CynosDB应用场景与产品优势文档 云数据库 CynosDB应用场景 1.高性能高可用企业应用 商用 ...
- 饥荒联机云服务器_GAMETECH腾讯云游戏行业技术沙龙成都站圆满落幕
11月13日,由腾讯云主办.游戏茶馆协办的2020年首场GAME-TECH腾讯云游戏行业技术沙龙在成都圆满落幕. 在一款游戏的运维过程中,游戏开发者们很有可能会遇到游戏服务器过载.游戏数据存储与游戏数 ...
- Python实现腾讯云CDB备份文件自动上传到COS
一.背景 需求:目前遇到的客户需求为将腾讯云CDB备份文件自动上传到腾讯云COS内,再次抛砖引玉,还有很多类似的需求均可以采用此类方法解决,线下IDC数据文件备份至云端COS内,或根据文件下载地址ur ...
- 腾讯云CDB回档失败浅析
Ⅰ.先看问题 先简单介绍下cdb的回档功能,回档分为极速.快速.普通,分别对应指定表.指定库.整个实例回档. 控制台报错回档任务执行失败 提示信息:rollback table failed:SQL ...
最新文章
- html语言制作留言条,利用DIV+CSS制作右下角弹出留言板
- 曲线均匀分布_R——概率统计与模拟(三) 变换均匀分布对特定分布进行抽样
- global mapper 制作地形图_福州大飞机模型制作厂家,产品模型,期待合作_境海模型...
- nvarchar转换为int类型失败_2.2 C++强制类型转换 | 将3.3转换为整型输出
- 解决虚拟机卡 鼠标拖动很慢 有效解决办法
- FRR的ATOMIC 利用GCC的实现
- 天池大数据竞赛——糖尿病遗传风险预测赛后总结（二）
- win11怎么关闭触控板？win11关闭触控板的三种解决方法
- Image Signal Processor
- [AHK]设置快捷键快速呼出隐藏XYplorer
- 怎么用python海龟画五角星_海龟编辑器五角星怎么画 绘制五角星就是这么简单...
- Easypoi导出excel去掉title标题
- 上线项目 Docker部署项目到服务器总结
- IDEA 的 Othere Settings（Default settings）消失了？
- 番茄花园系统剖析 下
- SQL Dblink SQL
- icloud 照片导出_我的照片流和iCloud照片之间有什么区别？
- 大数据面试题_Hive篇
- 数字孪生的思考 01 - 简述一下数字孪生项目的实现路线
- 【重磅推荐: 强化学习课程】清华大学李升波老师《强化学习与控制》