Redis主从复制架构

概念

概念
主从复制，是指将一台Redis服务器的数据，复制到其他Redis的服务器。前者称为主节点（master/leader），后者称为从节点（slave/follower）；数据的复制是单向的，只能从主节点到从节点。Master以写为主，Slave以读为主。

主从复制，读写分离！80%的情况下都是进行读的操作！减缓服务器压力！

默认情况下，每台Redis服务器都是主节点；且一个主节点可以有多个从节点（或没有从节点），但是一个从节点有且只有一个主节点。

主从复制的作用主要包括

数据冗余：主从复制实现了数据的热备份，是持久化之外的一种数据冗余方式。
故障恢复：当主节点出现问题时，可以由从节点提供服务，实现快速的故障恢复；实际上是一种服务的冗余。
负载均衡：在主从复制的基础上，配合读写分离，可以由主节点提供写服务，由从节点提供读服务（即写Redis数据时应用连接主节点，读Redis数据时应用连接从节点），分担服务器负载；尤其是写少读多的场景下，通过多个节点分担负载，可以大大提高Redis服务器的并发量。
高可用（集群）基石：除了上述作用以外，主从复制还是哨兵和集群能够实施的基础，因此说主从复制是Redis高可用的基础。
一般来说呀，要将redis运用于工程项目之中，只使用一台Redis是万万不能的（宕机），原因如下：
1、从结构上，单个redis服务器会发生单点故障，并且一台服务器需要处理所有的请求负载呀，压力较大。
2、从容量上，单个redis服务器内存容量有限，就算一台redis服务器内存容量为256GB，也不能将所有内存用作Redis存储内存，一般来说，单台Redis最大使用内存不应该超过20GB。

配置文件

只需要配置从库，不需要配置主库，因为默认情况下，每台Redis服务器都是主节点。

从节点需要修改的相关配置

# 端口
port 6380# 把pid进程号写入pidfile配置的文件
pidfile /var/run/redis_6380.pid# log文件
logfile "6380.log"# rdb文件名
dbfilename dump-6380.rdb# rdb文件存放路径
dir /usr/local/bin# 需要注释掉bind，bind绑定的是自己机器网卡的ip，
# 如果有多块网卡可以配多个ip，
# 代表允许客户端通过机器的哪些网卡ip去访问，
# 内网一般可以不配置bind，注释掉即可
# bind 127.0.0.1# aof文件名
appendfilename "appendonly-6380.aof"###主从复制配置###
# 从本机6379的redis实例复制数据，Redis 5.0之前使用slaveof
replicaof 127.0.0.1 6379# 配置从节点只读
replica‐read‐only yes# 缓冲区大小  默认1MB
# repl-backlog-size 1mb

主从复制工作原理

全量复制

1、当slave连接上master时，先会与master建立socket长连接，然后发送一个psync命令同步数据。

2、当master接受到psync命令后，会在后台通过bgsave进行数据持久化生成最新的快照文件，持久化期间，master会持续接收客户端的请求，它会把这些可能修改数据集的请求缓存在缓冲区中（repl buffer 缓冲区，配置文件中repl-backlog-size可配置缓存区大小，默认1MB）。

3、当持久化完毕后，master会把这份rdb文件发送至slave。

4、slave接收到rdb文件后，会清空所有老数据，并加载这份主节点的rdb文件。

5、然后，master再将之前存放在缓冲区的命令发送给slave。

6、slave接收到缓冲区的命令后，进行执行。

7、最后，当全量复制完毕后，master通过socket长连接持续把写命令发送给从节点，保证主从一致性。

部分复制

当master和 slave断开重连之后，一般会对整份数据进行复制。但从redis2.8版本开始，redis改用可以支持部分数据复制的命令PSYNC去master同步数据，slave与master能够在网络连接断开重连后只进行部分数据复制(断点续传)。

1、master与slave连接断开

2、master会在其内存建立一个复制数据用的缓存队列（repl backlog buffer），缓存最近一段时间的数据，其实就是一些写命令

3、slave重新连接到master，建立socket长连接。

4、psync(offset)，在master和它所有的slave都维护了复制的数据下标offset（偏移量）和master的进程id，因此，当网络连接重连后，slave会请求master 继续进行未完成的复制，从所记录的数据下标开始。

5、如果master进程id变化了，或者从节点数据下标 offset太旧，已经不在master的缓存队列（repl backlog buffer）里了，那么将会进行一次全量数据的复制。

6、最后，当部分/全量复制完毕后，master通过socket长连接持续把写命令发送给从节点，保证主从一致性。

主从复制风暴

如果有很多从节点，为了缓解主从复制风暴(多个从节点同时复制主节点导致主节点压力过大)，可以做如下架构，让部分从节点与从节点(与主节点同步)同步数据