文章目录

准备
keys * 等命令的危害与避免
不用keys * ，应该用什么
BigKey
- 阿里云Redis开发规范
- 多大算Big
- 危害
- 怎么产生的？
- 怎么发现BigKey
- 怎么删除
- - String类型
  - 使用hscan每次获取少量field-value，再使用hdel删除每个field
  - 使用ltrim渐进式逐步删除，直到全部删除完成
  - 使用sscan每次获取部分元素，再使用srem命令删除每个元素
  - 使用zscan每次获取部分元素，再使用ZREMRANGEBYRANK命令删除每个元素
- 生产调优

准备

往redis里插入2000万测试数据key

# 生成100W条redis批量设置kv的语句(key=kn,value=vn)写入到/tmp目录下的redisTest.txt文件中
for((i=1;i<=100*10000;i++)); do echo "set k$i v$i" >> /tmp/redisTest.txt ;done;

通过redis提供的管道 --pipe命令插入100万大批量数据
cat /tmp/redisTest.txt | /opt/redis-7.0.0/src/redis-cli -h 127.0.0.1 -p 6379 -a 111111 --pipe

查看数据量大小

redis-cli dbsize

keys * 等命令的危害与避免

这个指令没有offset，limit参数，是要一次性吐出所有满足条件的key，由于redis是单线程的，其所有操作都是原子性的，而keys算法是遍历算法，时间复杂度是n，如果哦实例中有千万级别以上的key，这个指令就会导致redis服务卡顿，所有读写Redis的指令就会被延后甚至超时，可能引起缓存雪崩甚至数据库宕机。

生产上限制keys *，flushdb，flushall等危险命令以防止误删误用？
配置中设置禁用命令即可

不用keys * ，应该用什么

使用Scan命令，用于迭代数据库中的数据库键。
SCAN cursor定义：
基于游标的迭代器，需要基于上一次的游标延续之前的迭代过程，以0作为游标开始一次新的迭代，直到命令返回游标0完成一次遍历，不保证每次执行都返回某个给定数量的元素，支持模糊查询，一次返回的数量不可控，只是大概率符合count参数。

SCAN 命令是一个基于游标的迭代器，每次被调用之后，都会向用户返回一个新的游标，用户在下次迭代时需要使用这个新游标作为 SCAN 命令的游标参数，以此来延续之前的迭代过程。

SCAN 返回一个包含两个元素的数组：

第一个元素是用于进行下一次迭代的新游标，
第二个元素则是一个数组，这个数组中包含了所有被迭代的元素。如果新游标返回零表示迭代已结束。

SCAN的遍历顺序：
非常特别，它不是从第一维数组的第零位一直遍历到末尾，而是采用了高位进位加法来遍历。之所以使用这样特殊的方式进行遍历，是考虑到字典的扩容和缩容时避免槽位的遍历重复和遗漏。

BigKey

阿里云Redis开发规范

拒绝BigKey防止网卡流量，慢查询。

String类型控制在10kb以内，hash，list，set，zset元素个数不用超过5000
非字符串的BigKey不要使用del删除，使用hscan，sscan，zscan方式渐进式删除，同时注意防止BigKey过期时间自动删除（类似100万的zset设置固定时间过期，会触发del操作造成堵塞，而且该操作不会出现在慢查询中）

多大算Big

String是value，最大512MB但是大于等于10KB就是BigKey
list，hash，set，zset，个数超过5000就是BigKey

危害

内存不均匀，集群迁移困难
超时删除，大key阻塞
网络流量阻塞

怎么产生的？

比如汇总统计，某个报表日积月累的积累
比如粉丝列表，粉丝越来越多

怎么发现BigKey

redis-cli --bigkeys
给出每种数据结构Top 1 bigkey，同时给出每种数据类型的键值个数+平均大小,但是想查询大于10kb的所有key，–bigkeys参数就无能为力了。
每隔 100 条 scan 指令就会休眠 0.1s，ops 就不会剧烈抬升，但是扫描的时间会变长
redis-cli -h 127.0.0.1 -p 7001 –-bigkeys -i 0.1

解决查看大于10kb的所有key，需要用到memory usage来计算每个键值的字节数。
MEMORY USAGE命令给出一个key和它的值在RAM中所占用的字节数。返回的结果是key的值以及为管理该key分配的内存总字节数。
对于嵌套数据类型，可以使用选项SAMPLES，其中count表示抽样的元素个数，默认值为5。==当需要抽样所有元素时，使用SAMPLES 0 ==。

MEMORY USAGE key [SAMPLE count]

怎么删除

String类型

一般用于del，如果过于庞大unlink（非阻塞式删除）

使用hscan每次获取少量field-value，再使用hdel删除每个field

HSCAN key cursor

hscan + hdel

使用ltrim渐进式逐步删除，直到全部删除完成

LTRIM KEYNAME START STOP

使用sscan每次获取部分元素，再使用srem命令删除每个元素

使用zscan每次获取部分元素，再使用ZREMRANGEBYRANK命令删除每个元素

生产调优

redis.conf配置文件LAZY FREEING相关说明

关于Redis的BigKey相关推荐

一文详解Redis中BigKey、HotKey的发现与处理
简介: 在Redis的使用过程中,我们经常会遇到BigKey(下文将其称为"大key")及HotKey(下文将其称为"热key").大Key与热Key如果未能及 ...
Redis的hotkey和bigkey的一些拆解方式
1.redis的hotkey是指对某个key的访问qps极高,比如达到百万级别,其实仅仅是hotkey的话解决方法也很简单.其实就是拆分成多个key去分担负担,这多个key的内容和初始hotkey的内 ...
Alibaba内部的“实战Redis手册” 去其糟粕，取其精华
近几年,随着移动互联网的飞速发展,我们享受着整个社会的技术进步带来的便利,但同时也给从业者带来了如何保证项目的高并发.低延时的技术挑战,相应的互联网技术也随之发生了重大变革,NoSQL技术得到了蓬勃的 ...
Redis 大key与热key
目录 Redis中BigKey解决方案什么是BigKey? 大key场景大key问题如果redis的key较长时,会产生什么样的影响呢? 如何查看Redis中的bigKey? 查看所有BigKe ...
Redis进阶-如何发现和优雅的处理BigKey一二事
文章目录 PreView 模拟写入一个BigKey 如何发现BigKey redis-cli --bigkeys debug object 如何优雅的删除BigKey (lazy delete) 关于 ...
redis优化，bigkey，hotkey，配置优化，缓存雪崩、缓存穿透、缓存击穿
CPU绑定可以在redis启动的时候绑定固定的cpu,防止cpu切换引起的上线文切换: taskset -c 1 ./redis/bin/redis-server ./reids/conf/redi ...
Redis BigKey优化与使用方式
一.什么是BigKey 在Redis中,一个字符串最大512MB,一个二级数据结构(例如hash.list.set.zset)可以存储大约40亿个(2^32-1)个元素,但实际上中如果下面两种情况,我 ...
[Redis]怎么查看以xx开头的所有key？有什么坑？BigKey问题？
目录 1. keys 有坑 2. bigKey问题 2.1 big key 系列问题什么是 big key 寻找big key(通过RDB分析,redis-cli分析) 优化big key 2.2 ...
Redis BigKey介绍
本文已参与「掘力星计划」,赢取创作大礼包,挑战创作激励金. 一.什么是bigkey 在Redis中,一个字符串最大512MB,一个二级数据结构(例如hash.list.set.zset)可以存储大约4 ...

关于Redis的BigKey