Redis持久化锦囊在手,再也不会担心数据丢失了
Redis 的读写都是在内存中进行的,所以它的性能高。而当我们的服务器断开或者重启的时候,数据就会消失,那么我们该怎么解决这个问题呢?
其实 Redis 已经为我们提供了一种持久化的机制,分别是 RDB
和 AOF
两种方式,接下来跟着我一起看看这两个锦囊都是怎么保证数据的持久化的。
持久化
由于 Redis 是基于内存的数据库,所以当服务器出现故障的时候,我们的数据就得不到安全保障。
这个时候就需要将内存中的数据存储到磁盘中,当我们服务器重启时,便可以通过磁盘来恢复数据,这个过程就叫做 Redis 持久化。
Redis持久化
RDB
简介
RDB全称Redis Database Backup file
(Redis数据备份文件),也可以称为Redis数据快照。
RDB 文件是一个经过压缩的二进制文件(默认:dump.rdb);
RDB 文件保存在硬盘里;
通过保存数据库中的键值对来记录数据库状态。
创建
当 Redis 持久化时,程序会将当前内存中的数据库状态保存到磁盘中。
创建
创建 RDB 文件主要有两个 Redis 命令:SAVE
和 BGSAVE
。
SAVE
同步操作,执行命令时,会阻塞 Redis 服务器进程,拒绝客户端发送的命令请求。
代码示例:
def SAVE():# 创建 RDB 文件rdbSave()
图示:
Save命令
BGSAVE
异步操作,执行命令时,子进程执行保存工作,服务器还可以继续让主线程处理客户端发送的命令请求。
代码示例:
def BGSAVE():# 创建子进程pid = fork()if pid == 0:# 子进程负责创建 RDB 文件rdbSave()# 完成之后向父进程发送信号signal_parent()elif pid > 0:# 父进程继续处理命令请求,并通过轮训等待子进程的信号handle_request_and_wait_signal()else:handle_fork_error()
图示:
bgSave命令
载入
载入工作在服务器启动时自动执行。
载入
服务器在载入 RDB 文件期间,会一直处于阻塞状态,直到载入工作完成为止。
主要设置
Redis 允许用户通过设置服务器配置的 save 选项,让服务器每隔一段时间自动执行一次 BGSAVE 命令。
设置保存条件
提供配置如下:
save 900 1
save 300 10
在这种情况下,只要满足以下条件中的一个,BGSAVE 命令就会被执行:
服务器在 900 秒之内,对数据库进行了至少 1 次修改了;
服务器在 300 秒之内,对数据库进行了至少 10 次修改。
saveparams
服务器程序会根据 save 选项所设置的保存条件,设置服务器状态 redisServer 结构的 saveparams
属性。
saveparams
属性是一个数组;数组中的每一个元素都是一个
saveparam
结构;每个
saveparam
结构都保存了一个save
选项设置的保存条件。
struct saveparam {// 秒数time_t seconds;// 修改数int changes;
}
dirty
dirty
计数器记录距离上一次成功执行 SAVE 命令或 BGSAVE 命令之后,服务器对数据库状态进行了多少次修改(包括写入、删除、更新等操作)。
lastsave
是一个 UNINX
时间戳,记录了服务器上一次成功执行 SAVE 命令或者 BGSAVE 命令的时间。
检查保存条件是否满足
服务器周期性操作函数 serverCron
(该函数对正在运行的服务器进行维护)默认每隔 100 毫秒就会执行一次,其中一项工作就是检查 save 选项所设置的保存条件是否已经满足,满足的话就执行 BGSAVE 命令。
代码示例:
def serverCron():# ....# 遍历所有保存条件for saveparam in server.saveparams:# 计算距离上次执行保存操作有多少秒save_interval = unixtime_now() - server.lastsave# 如果数据库状态的修改次数超过条件所设置的次数# 如果距离上次保存的时间超过条件所设置的时间if server.dirty >= saveparam.changes and save_interval > saveparam.seconds:BGSAVE()
默认配置
RDB 文件默认的配置如下:
################################ SNAPSHOTTING ################################
#
# Save the DB on disk:
#在给定的秒数和给定的对数据库的写操作数下,自动持久化操作。
# save <seconds> <changes>
#
save 900 1
save 300 10
save 60 10000#bgsave发生错误时是否停止写入,一般为yes
stop-writes-on-bgsave-error yes#持久化时是否使用LZF压缩字符串对象?
rdbcompression yes#是否对rdb文件进行校验和检验,通常为yes
rdbchecksum yes# RDB持久化文件名
dbfilename dump.rdb#持久化文件存储目录
dir ./
AOF
简介
AOF全称为 Append Only File
(追加日志文件)。日志是写后日志,Redis 是先执行命令,把数据写入内存,然后才记录日志。
写后日志
通过保存 Redis 服务器所执行的写命令来记录数据库状态;
写入 AOF 文件的所有命令都是以 Redis 的命令请求协议格式保存的。
实现
AOF 持久化流程实现主要是通过以下流程来实现的:
AOF流程
命令追加
若 AOF 持久化功能处于打开状态,服务器在执行完一个命令后,会以协议格式将被执行的写命令追加到服务器状态的 aof_buf
缓冲区的末尾。
文件同步
服务器每次结束一个事件循环之前,都会调用 flushAppendOnlyFile
函数,这个函数会考虑是否需要将 aof_buf
缓冲区中的内容写入和保存到 AOF 文件里。
flushAppendOnlyFile
函数执行以下流程:
WRITE:根据条件,将 aof_buf 中的缓存写入到 AOF 文件;
SAVE:根据条件,调用 fsync 或 fdatasync 函数,将 AOF 文件保存到磁盘中。
这个函数是由服务器配置的 appendfsync
的三个值:always、everysec、no
来影响的,也被称为三种策略。
Always
每条命令都会 fsync 到硬盘中,这样 redis 的写入数据就不会丢失。
Always
everysec
每秒都会刷新缓冲区到硬盘中(默认值)。
everysec
no
根据当前操作系统的规则决定什么时候刷新到硬盘中,不需要我们来考虑。
no
数据加载
创建一个不带网络连接的伪客户端;
从 AOF 文件中分析并读取出一条写命令;
使用伪客户端执行被读出的写命令;
一直执行步骤 2 和 3,直到 AOF 文件中的所有写命令都被处理完毕为止。
文件重写
为何需要文件重写:
为了解决 AOF 文件体积膨胀的问题;
通过重写创建一个新的 AOF 文件来替代现有的 AOF 文件,新的 AOF 文件不会包含任何浪费空间的冗余命令。
实现
文件重写的实现原理:
不需要对现有的 AOF 文件进行任何操作;
从数据库中直接读取键现在的值;
用一条命令记录键值对,从而代替之前记录这个键值对的多条命令。
后台重写
为不阻塞父进程,Redis 将 AOF 重写程序放到子进程里执行。
在子进程执行 AOF 重写期间,服务器进程需要执行三个流程:
执行客户端发来的命令;
将执行后的写命令追加到 AOF 缓冲区;
将执行后的写命令追加到 AOF 重写缓冲区。
服务器流程
默认配置
AOF 文件默认的配置如下:
############################## APPEND ONLY MODE ################################开启AOF持久化方式
appendonly no#AOF持久化文件名
appendfilename "appendonly.aof"
#每秒把缓冲区的数据fsync到磁盘
appendfsync everysec
# appendfsync no
#是否在执行重写时不同步数据到AOF文件
no-appendfsync-on-rewrite no# 触发AOF文件执行重写的增长率
auto-aof-rewrite-percentage 100
#触发AOF文件执行重写的最小size
auto-aof-rewrite-min-size 64mb#redis在恢复时,会忽略最后一条可能存在问题的指令
aof-load-truncated yes#是否打开混合开关
aof-use-rdb-preamble yes
总结
通过以上的简介,想必大家都对 Redis 持久化有了大致的了解,那么这两种方式,我们该如何选择呢?
对于大中型的应用,我们既想保证数据完整性又想保证高效率,就应该结合使用 RDB 和 AOF 两种方式;
如果只是需要保证数据的完整性,保护数据不会丢失,那么优先使用 AOF 方式;
如果是处理大规模的数据恢复,追求更高更快的效率的话,优先使用 RDB 方式。
也可以参照下图进行选择:
主要对比
有道无术,术可成;有术无道,止于术
欢迎大家关注Java之道公众号
好文章,我在看❤️
Redis持久化锦囊在手,再也不会担心数据丢失了相关推荐
- 必备收藏 | 超详细揭秘 Redis 持久化,建议收藏!
Hi ! 小小国庆期间也不能免俗,作为一个地地道道的俗人,当然也要去旅游一波,当当当! 旅游啦 小小去旅游啦,去的是哪里,这次小小去的是我家的后花园,哦不,是颐和园,当年慈禧太后挪用海军经费建立的一个 ...
- [动图演示]Redis 持久化 RDB/AOF 详解与实践
Redis 是一个开源( BSD 许可)的,内存中的数据结构存储系统,它可以用作数据库.缓存和消息中间件.它支持的数据类型很丰富,如字符串.链表.集 合.以及散列等,并且还支持多种排序功能. 什么叫持 ...
- redis 之redis持久化rdb与aof
redis是内存型的数据库 重启服务器丢失数据 重启redis服务丢失数据 断电丢失数据 Redis是一种内存型数据库,一旦服务器进程退出,数据库的数据就会丢失,为了解决这个问题,Redis提供了两种 ...
- Redis持久化RDB/AOF详解与实践
Redis 是一个开源( BSD 许可)的,内存中的数据结构存储系统,它可以用作数据库.缓存和消息中间件.它支持的数据类型很丰富,如字符串.链表.集 合.以及散列等,并且还支持多种排序功能. 什么叫持 ...
- 超详细揭秘 Redis 持久化,建议收藏!
" 阅读本文大概需要 20 分钟. " Redis 是一个开源( BSD 许可)的,内存中的数据结构存储系统,它可以用作数据库.缓存和消息中间件.它支持的数据类型很丰富,如字符串. ...
- [动图演示]Redis 持久化 RDB/AOF 详解与实践 1
Redis 是一个开源( BSD 许可)的,内存中的数据结构存储系统,它可以用作数据库.缓存和消息中间件.它支持的数据类型很丰富,如字符串.链表.集 合.以及散列等,并且还支持多种排序功能. 什么叫持 ...
- 细说redis持久化流程
文章目录 一. 概述redis持久化的俩种模式 二. rdb持久化模式 1.rdb持久化核心思路 2.rdb持久化难点 3.rdb持久化后rdb文件的格式 4.rdb持久化触发条件 5.rdb持久化数 ...
- Redis持久化之RDB原理
Redis持久化之RDB 一.RDB文件作用 二. 触发条件 三.执行流程 1.总体流程 2.fork实现复制原理 四.RDB文件 五. 启动时加载 六. RDB常用配置总结 七.优缺点 1.优点 2 ...
- redis持久化与集群
redis持久化 redis的数据全部在内存中,如果突然宕机,数据就会全部丢失,因此需要持久化来保证redis 的数据不会因为故障而丢失,redis 重启的时候可以重新加载持久化文件来恢复数据,基本上 ...
最新文章
- CDN网络究竟是怎么加速的?
- 英语语法最终珍藏版笔记-3几个常用时态的比较
- Limesurvey-2.55 (Ubuntu 16.04)
- matlab中if语句的用法_if语句的基本用法
- LeetCode 88合并两个有序数组89格雷编码
- linux64位ioremap函数,linux操作系统中的ioremap函数详解
- SQL 增删改查(具体)
- 硬盘GPT分区与MBR分区的区别
- html5图标用什么格式转换,ico转png 怎么把ico格式转换成png格式
- 马斯洛提出动机理论_人做事的动机来自于哪里?--马斯洛需求层次理论解读
- 练习一: 提示:emp员工表(empno员工号/ename员工姓名/job工作/mgr上级编号/hiredate受雇日期/sal薪金/comm佣金/deptno所属部门编号) dept部门
- 外文文献找不到怎么办?
- oracle cdb to no cdb,【CDB】怎样转换non-CDB to CDB
- 分享一些前端主流面试题
- 刚刚!百度副总裁被抓!
- 闭关修炼,看了老大的博客,才发现自己是多么的技术低,原来我就达到06年的他
- elasticsearch7.x clusterAPI之settings
- 大学c语言活动策划,大学校园文化班级趣味运动会活动方案
- java web 定时_使用监听器实现Java Web的定时执行
- [总结]高效能人士的七个习惯
热门文章
- android用户登录volley,如何在Android上使用Volley进行基本身份验证?
- Rollback Protection
- 判断数组中某个元素除自身外是否和其他数据不同_18 张图带你彻底认识这些数据结构...
- 使用find 命令执行命令 -exec
- 数据结构之图的遍历:广度优先遍历(BFS)
- 图象:sine(正弦)、cosine(余弦)与Tangent(正切)
- Qt之模式、非模式、半模式对话框
- 设置其他用户文件、文件夹权限与现用户权限相同(命令、权限)
- Module database cache not built yet, using slow search
- Linux lsof命令使用详细