文章目录
- 一、Redis键值设计
- (一)key结构设计
- (二)拒绝BigKey
- 什么是BigKey?
- BigKey的危害
- 如何发现BigKey
- (一)恰当的数据类型
- 二、批处理优化
- 三、服务端优化
- 四、集群最佳实践
一、Redis键值设计
(一)key结构设计
- key的基本格式:[业务名称]:[数据名]:[id]
- 长度不超过44字节
- 不包含特殊字符
key是字符串类型,底层编码包含int,embstr和raw三种,embstr在小于44字节使用,采用连续内存空间,内存占用更小
(二)拒绝BigKey
什么是BigKey?
BigKey通常以Key的大小和Key中成员的数量来综合判定,例如:·Key本身的数据量过大:一个String类型的Key,它的值为5MB。
- Key中的成员数过多:一个ZSET类型的Key,它的成员数量为10,000个。
- Key中成员的数据量过大:一个Hash类型的Key,它的成员数量虽然只有1,000个但这些成员的Value(值)总大小为100 MB。
推荐值:
- 单个key的value小于10KB
- 对于集合类型的key,建议元素数量小于1000
BigKey的危害
-
网络阻塞
对BigKey执行读请求时,少量的QPS就可能导致带宽使用率被占满,导致Redis实例,乃至所在物理机变慢 -
数据倾斜
BigKey所在的Redis实例内存使用率远超其他实例,无法使数据分片的内存资源达到均衡 -
Redis阻塞
对元素较多的hash、list、zset等做运算会耗时较旧,使主线程被阻塞 -
CPU压力
对BigKey的数据序列化和反序列化会导致CPU的使用率飙升,影响Redis实例和本机其它应用
如何发现BigKey
-
redis-cli --bigkeys
利用redis-cli提供的–bigkeys参数,可以遍历分析所有key,并返回Key的整体统计信息与每个数据的Top1的big key -
scan扫描
自己编程,利用scan扫描Redis中的所有key,利用strlen、hlen等命令判断key的长度(此处不建议使用MEMORY USAGE ) -
第三方工具
利用第三方工具,如Redis-Rdb-Tools 分析RDB快照文件,全面分析内存使用情况 -
网络监控
自定义工具,监控进出Redis的网络数据,超出预警值时主动告警