Mysql数据库架构介绍

一、Mysql单例数据库架构
1、Mysql体系介绍

网络连接层：提供与Mysql服务器建立连接的支持
核心服务层：主要包含系统管理和控制工具、连接池、SQL接口、解析器、查询优化器和缓存六个部分
存储引擎：负责Mysql中数据的存储与提取，与底层系统文件进行交互
文件系统：负责将数据库的数据和日志存储在文件系统之上，并完成与存储引擎的交互，是文件的物理存储层

2、SQL运行过程

3、InnoDB内存和存储结构

优势：擅长处理事务，具有自动崩溃恢复的特性
内存结构：内存结构主要包括Buffer pool、Change Buffer、Adaptive Hash Index和Log Buffer四大组件
* 内存Page：Free Page、Clean Page(真正的缓存)、Dirty Page
* 链表管理：Free List、Flush List、LRU List
存储结构：InnoDB磁盘主要包含Tablespaces、InnoDB Data Dictionary、Doublewrite Buffer、Redo Log和Undo Logs

(1)Buffer pool

缓冲池(buffer pool)是一种常见的降低磁盘访问的机制，在MySQL启动的时候，向操作系统申请的一片连续的内存空间，然后按照默认的16kb(操作系统的页4KB)划分为一个个的缓存页，此时这些缓存页是空闲的，随着程序的运行才会有磁盘上的页被缓存到Bufffer Pool中。默认配置下Buffer Pool只有128MB
缓冲池通常以页(page)为单位缓存数据，InnoDB会把存储的数据划分为若干个页，以页作为磁盘和内存交互的基本单位，一个页的默认大小为16KB。每个缓存页都会创建一个控制块，控制块包括缓存页的表空间、页号、缓存页地址、链表节点等

(2)Change Buffer
是一个提高INSERT、DELETE、UPDATE等写时效率的写缓存。应用在非唯一普通索引页(唯一索引必须进行唯一性检查，需要读取磁盘)、不在缓冲池中(在缓存池中则直接修改缓存池中的页)、对页进行了写操作，并不会立刻将磁盘页加载到缓冲池，而仅仅记录缓冲变更(Buffer Change)，等未来数据被读取时，再将数据合并恢复到缓冲池的技术。写缓冲的目的是降低写操作的磁盘IO，提升数据库性能。

(3)Binlog
用于记录数据库执行的写入性操作(不包括查询)信息，以二进制的形式保存在磁盘中，由Server层进行记录。使用场景分别是主从复制和数据恢复。日志格式包含三种
STATMENT：基于sql语句的复制，每一条会修改数据的sql语句会记录到binlog中(缺点：更新时使用sysdate)
ROW：基于行的复制，记录哪条数据被修改的信息
MIXED：基于STATMENT和ROW两种模式的混合复制

(4)Redo log
用于解决数据库事务提交还未刷入磁盘，服务器down机导致的数据丢失问题。记录事务对数据页做了哪些修改，不去直接刷新磁盘。包括两个部分，一个是内存中的日志缓冲(redo log buffer)，另一个是磁盘上的日志文件(redo log file)。mysql每执行一条DML语句，先将记录写入redo log buffer，后续某个时间点再一次性将多个操作记录写到redo log file。这种先写日志，再写磁盘的技术就是WAL(Write-Ahead Logging)技术。
因为redo log是InnoDB特有的，且日志上的记录落盘后会被覆盖掉。因此需要binlog和redo log二者同时记录，才能保证当数据库发生宕机重启时，数据不会丢失。

(5)Undo log
实现MVCC和事务回滚，undo日志版本链是指一行数据被多个事务依次修改过后，在每个事务修改完后，Mysql会保留修改前的数据undo回滚日志，并且用两个隐藏字段trx_id和roll_pointer把这些undo日志串联起来形成一个历史记录版本链。

(6)Free List(空闲链表)
为了标记哪些页是空闲页，将空闲缓存页的控制块作为链表的节点，串起来形式Free链表。当需要从磁盘中加载一个页到Buffer Pool中时，就从Free链表中取出一个空闲的缓存页，并且把该缓存页对应的控制块的信息填上，然后把该缓存页对应的控制块从Free链表中移除
(7)Flush List
更新数据时，不需要每次写入磁盘，而是将Buffer Pool对应的缓存页标记为脏页，然后再由后台线程将脏页写入到磁盘。为了知道哪些缓存页是脏的，于是有了Flush链表，与Free链表类似，区别在于Flush链表的元素都是脏页.
InnoDB更新操作采用的是Write Ahead Log策略，即先写日志，再写入磁盘，通过redo log日志让MySQL拥有了崩溃恢复能力。
(8)LRU List

缓冲池的常见管理算法是LRU，memcache，OS，InnoDB都使用了这种算法
InnoDB对普通LRU进行了优化
- 将缓冲池分为老生代和新生代，入缓冲池的页，优先进入老生代，页被访问，才进入新生代，以解决预读失效的问题
- 页被访问，且在老生代停留时间超过配置阈值的，才进入新生代，以解决批量数据访问，大量热数据淘汰的问题

4、TableSpace

Segment：数据段、索引段、回滚段
Extent：一个段包含多个区、一个区包含64个页
Page：一个页包含多条记录
Row：用户写入的实际数据

5、Page

File Header：主要包含FIL_PAGE_PREV、FIL_PAGE_NEXT一页指针和下一页指针(页在磁盘上的偏移量)
Page Header：标记记录位置和UserRecords统计
Infimum&Supremum Records：描述是最小的记录和最大记录的开区间
Free Space：UserRecords和Free、不够申请新的页
Page Directoy：每写入一定数量Records作为一个Slot，在定位到Page后根据slot提升查找性能
File Trailer：低4位Checksum、高4位和File Header的LSN一致

6、InnoDB线程模型

IO Thread：大量AIO读写处理，提高数据库性能(Read Thread、Write Thread、Log Thread、Insert Buffer Thread)
Purge Thread：事务提交后，其使用的Undo日志将不再需要，因此需要Purge Thread回收Undo日志
Page Cleaner Thread：将脏数据刷新到磁盘，脏数据刷盘后相应的Redo Log也就可以覆盖，即可以同步数据，又能达到Redo Log循环使用的目的，会调用Write Thread线程处理
Master Thread：负责调度其他各线程，优先级最高，作用是将缓冲池中的数据异步刷新到磁盘，保证数据一致性。包含：脏页的刷新、Undo页回收、Redo日志刷新、合并写缓冲等

7、备份机制

传统备份
- MySQLDump逻辑全备+逻辑Binlog日志
- XtraBackup物理全备(Copy文件+Redo增量)+逻辑Binlog日志
快照备份
- 基于ECS云盘快照+逻辑Binlog日志

二、Mysql数据复制
1、Mysql数据复制原理

Binlog：主备复制基于Binlog日志
Dump Thread：为每个Slave的I/O Thread启动一个Dump线程，用于向其发送Binary Log Events
I/O Thread：向Master请求二进制日志事件，并保存于中继日志中
SQL Thread：从中继日志中读取日志事件，在本地完成重放

2、Mysql复制架构

3、Mysql复制模式

三、Mysql高可用及进阶
1、Mysql高可用原理

2、Keepalived架构

背景：业界传统高可用方案
Core：keepalived的核心，负责主进程的启动和维护，全局配置文件的加载解析
Check：负责HealthChecker，包括了各种健康检查方式，以及对应的配置的解析包括LVS的配置解析；可基于脚本检查对IPVS后端服务器健康状况进行检查
VRRP：VRRP进行通信，通过竞选机制确定主备，主优先级高于备，主会一直发送VRRP广播包，告诉备它还活着，此时备不会抢占主，当主不可用时(即备监听不到主发送的广播包)，备会启动相关服务接管资源，保证业务连续性。但无法进行第三方仲裁、会出现脑裂情况

3、MHA架构

MHA背景：业界方案
MHA组成：包括Manager节点和Node节点，管理节点一般独占机器，Node节点一般和每台MySQL Server在一起
MHA工作原理：Node节点通过解析各MySQL日志来进行一些操作，Manager节点将和每个Node节点通信，判断其Node上的MySQL是否正常。若发现故障，则直接把它的Slave提升为Master，其他的Slave都挂到新Master上，此过程对用户透明

4、MGR架构

特性：核心解决异步复制和半同步复制数据一致性问题，可保证实物不丢失
多数派：基于Paxos协议，若干节点组成复制组，一个事务发起提交，必须经过半数节点以上的决议通过，才可正常提交
集群模式
- 多主：客户端可随机向MySQL节点写入数据
- 单主：集群选出新主节点提供写，源主和其他节点提供读

Mysql数据库架构介绍相关推荐

MySQL第4天：MySQL的架构介绍之修改数据库编码格式
MySQL的架构介绍之修改数据库编码格式 1.配置文件介绍 #编写时间:2017.3.6 #编写地点:广州上一篇文章可知mysql的配置文件在:/usr/share/mysql,其中/usr/sha ...
MySQL第7天：MySQL的架构介绍之存储引擎
MySQL的架构介绍之存储引擎 #编写时间:2017.3.9 #编写地点:广州 1.存储引擎相关的命令 //查看已安装的mysql已提供的存储引擎 mysql>show engines;//查看 ...
MySQL第3天：MySQL的架构介绍之linux版安装
MySQL的架构介绍之linux版安装 #编写时间:2017.3.5 #编写地点:广州 mysql linux版安装 1.源码安装(本节不提) 2.rpm安装 (1)下载地址:https://dev. ...
MySQL第2天：MySQL的架构介绍之MySQL介绍
MySQL第2天:MySQL的架构介绍之MySQL介绍 #编写时间:2017.3.4 #编写地点:广州 MySQL介绍 (1)MySQL是关系型数据库管理系统,有瑞典MySQL AB公司开发,目前属于 ...
MySQL数据库引擎介绍、区别、创建和性能测试的深入分析
深入理解MySQL的数据库引擎的类型作者: 字体:[增加减小] 类型:转载本篇文章是对MySQL的数据库引擎的类型进行了详细的分析介绍,需要的朋友参考下你能用的数据库引擎取决于mysql在 ...
第 1 章 MySQL 的架构介绍
第 1 章 MySQL 的架构介绍 1.MySQL 简介什么是 MySQL? MySQL是一个关系型数据库管理系统,由瑞典MySQL AB公司开发,目前属于Oracle公司. MySQL是一种关联数 ...
尚硅谷MySQL高级学习笔记 -- 1.MySQL 的架构介绍
1.MySQL 简介什么是 MySQL? MySQL是一个关系型数据库管理系统,由瑞典MySQL AB公司开发,目前属于Oracle公司. MySQL是一种关联数据库管理系统,将数据保存在不同的表中 ...
mysql数据库引擎介绍
mysql数据库引擎介绍你能用的数据库引擎取决于mysql在安装的时候是如何被编译的.要添加一个新的引擎,就必须重新编译MYSQL.在缺省情况下,MYSQL支持三个引擎:ISAM.MYISAM和HE ...
MySQL第6天：MySQL的架构介绍之逻辑架构
MySQL的架构介绍之逻辑架构 #编写时间:2017.3.7 #编写地点:广州 MySQL的优势主要体现在存储引擎的架构上,它是插件式的存储引擎架构,将查询处理和其它的系统任务以及数据的存储提取分离, ...

Mysql数据库架构介绍

Mysql数据库架构介绍相关推荐

最新文章

热门文章