外观
19 - Redis 热 Key 与大 Key 如何拖垮集群
摘要
Redis 集群整体 CPU 不高,某个分片却持续超时;或者平时请求正常,删除一个 Key 后突然出现延迟尖峰。这两类现象分别可能与热 Key、大 Key 有关,但不能仅凭现象定因。理解它们的关键是区分两个维度:请求是否集中到少数 Key,以及每次操作需要处理多少数据。本文从单分片的命令处理、网络传输和内存释放出发,解释问题如何形成,再介绍诊断与治理方法。
1. 热 Key 与大 Key
**Key(键)**是 Redis 中定位数据的标识,例如 product:123;对应的值可以是字符串,也可以是 Hash、List、Set 等集合。Hash 保存字段和值,其他集合类型则组织多个成员或元素。
热 Key指访问频率异常高的键。它的值可以很小,但大量请求集中访问它,仍可能耗尽所在分片的 CPU 或网络带宽。大 Key指值包含大量字节或元素的键。它未必经常被访问,但一次全量读取、遍历或删除就可能需要处理大量数据。一个 Key 也可以同时又热又大。
判断“热”和“大”需要结合业务负载、操作方式及分片容量,不能只套用一个固定阈值。一个包含很多成员的集合,如果每次只读取少量成员,与每次都全量读取产生的压力不同。
Redis 的事件循环负责接收连接上的事件并推进请求处理。理解这里的延迟问题,可以先把一个分片看成多个客户端共享的命令处理资源:某个命令执行时间变长,其他等待执行的命令也可能被拖慢;大量短命令持续涌入,同样会形成排队。这不意味着 Redis 所有工作都只由一个线程完成,网络处理和后台任务的具体分工取决于版本及配置。
因此,热 Key 主要增加请求数量,大 Key 主要放大单次工作量。两者叠加时,服务端执行、网络传输和客户端处理都可能成为瓶颈。
2. 为什么集群不能自动分摊单个 Key
分片是集群中承担一部分数据和请求的节点。Redis Cluster 按 Key 的 **Hash Slot(哈希槽)**路由:先将 Key 映射到槽,再由负责该槽的主分片处理请求。槽是数据分配单位,不是把一个 Key 内部的数据切成多份。
单个 Key 只属于一个槽;在正常路由下,它的请求会集中到负责该槽的主分片。增加其他分片、重新分配槽,可以调整不同 Key 之间的负载,却不会自动拆分同一个 Key。因此,即使集群整体还有空闲容量,热点所在分片仍可能排队和超时。
副本是主分片数据的复制节点。对于允许读取副本的业务,副本读可以分担部分只读流量,但需要客户端支持相应路由,并接受复制延迟可能带来的旧数据。写请求仍需按主分片路由;增加副本不能直接分摊同一个 Key 的写入压力。
3. 大 Key 的影响
大 Key 的成本取决于操作触及的数据量,并非所有访问都会同样慢。排查时应沿着一次操作的处理路径观察:
- 读取与传输。
GET大字符串需要返回整个值,会占用网络带宽和客户端内存。客户端收到响应后,还可能需要解码、反序列化,也就是把字节还原成业务对象;这些耗时不等于 Redis 命令执行时间。 - 遍历集合。 对大集合执行全量命令,需要处理并返回大量成员。例如
HGETALL返回 Hash 的全部字段和值,即使客户端最终只使用少数字段,也已经承担了全量处理和传输成本。执行阶段变长还可能拖慢同分片的其他请求。 - 释放内存。 同步删除除了移除键,还可能需要释放值占用的内存。值的大小、内部结构及释放方式会影响耗时;复杂集合的释放可能造成延迟尖峰。
- 复制与迁移。 大量数据需要在节点之间传输,可能增加主从复制和迁移耗时。具体成本取决于操作、复制方式以及是否需要传输完整数据,不能把每次小范围更新都等同于复制整个大 Key。
- 持久化。 RDB 是数据快照,AOF 是用于恢复数据的命令日志。大对象可能增加快照生成、AOF 重写时的数据处理及 I/O 压力,具体影响需要结合持久化配置和工作负载判断。
UNLINK 可将符合异步释放条件的内存回收交给后台线程,减少同步释放对命令处理的影响。但它不等于内存立即归还,也不会消除释放本身的资源消耗。命令可用性、异步释放条件及具体行为需按 Redis 版本核对。
4. 治理方法
治理应先对准瓶颈:请求太集中,就减少或分散访问;单次处理量太大,就缩小操作范围和数据规模。
对于热 Key,可以考虑以下方法:
- 本地短缓存。 在应用进程内短期保存热点数据,让重复读取不再全部到达 Redis。需要设置容量上限和 TTL(生存时间),并明确允许数据陈旧多久、更新后如何失效。多实例各自保存副本时,也要考虑它们可能读到不同版本。
- 请求合并。 同一个 Key 的一次读取或加载尚未完成时,让其他并发调用等待并共享结果,减少重复请求。合并范围通常受进程或协调机制限制,还需设置等待超时;它不能把语义不同的写操作直接合并。
- 拆 Key 与业务分片。 按业务维度把访问分散到多个 Key,并确认它们实际分布在不同分片。如果拆分后每次仍要读取所有部分并汇总,总成本未必下降。拆分计数器还需要考虑汇总成本,以及业务是否允许各部分独立更新。
- 读副本。 在业务允许复制延迟、客户端支持副本路由时分担只读请求;需要核对读取一致性要求。
- 限流。 限制进入热点链路的请求数量,并定义超限时的等待、拒绝或降级行为,避免请求持续超过单分片容量。
对于大 Key,重点是让单次操作只处理需要的数据,并阻止对象无限增长:
- 按成员分批或分页读取,避免为了少量结果执行全量操作。分页方式取决于数据类型与访问需求;如果最后仍要拼出全部数据,总传输量不会因此消失。
- 拆分集合,使每个 Key 的规模有界,同时设计好跨 Key 查询、更新和汇总方式。
- 只取必要字段,减少服务端处理量、响应字节数和客户端对象数量。
- 在版本和释放条件适用时采用异步删除,并观察后台回收压力,而不是把删除命令快速返回当作内存已回收。
- 限制写入规模,为成员数或值大小设置业务边界,及时清理不再需要的数据。
拆分、缓存和副本都会改变数据访问方式。选择方案时,要同时确认一致性、汇总成本与容量边界,不能只比较单次命令是否更快。
5. 诊断注意
先看分片,再定位 Key。把分片 CPU、网络流量、命令延迟、客户端连接数和热点业务请求放在同一时间线上,判断压力是集中在少数分片,还是遍布集群。Keyspace 指键空间;相关统计可以帮助观察键数量、过期等变化,但键数量本身不能说明哪些 Key 最热或最大。
接着区分执行慢与整条请求链路慢。客户端观察到的耗时可能包含排队、命令执行、响应传输及客户端处理。SLOWLOG 是 Redis 的慢命令日志,记录命令执行阶段,不覆盖整条链路的排队和网络传输。因此,没有慢日志并不等于大响应没有造成延迟;应同时比较响应大小和客户端耗时。
redis-cli --bigkeys 基于扫描和类型相关统计寻找大 Key,其结果解释与工具版本、扫描或采样方式及数据类型有关。字符串长度、集合成员数量与实际内存占用不是同一个指标;发现候选 Key 后,还需结合业务访问频率、所用命令和响应大小判断风险。大 Key 扫描也不能代替热 Key 诊断,后者需要关注请求在 Key 或业务维度上的分布。
生产扫描应控制频率,避免在高峰执行高成本命令。诊断本身也会消耗资源,不应为了确认一个候选大集合而直接全量读取它。治理后,应继续观察目标分片延迟、网络流量和客户端处理耗时,确认瓶颈是否缓解或转移。
6. 容易踩的坑
- 客户端只需少数字段,却对大 Hash 使用
HGETALL。 只在客户端丢弃多余字段,无法减少 Redis 已经完成的处理与传输。 - 线上直接
DEL超大 Key。 同步释放可能拖慢其他命令,应结合数据结构、版本和删除方式评估。 - 认为集群扩容会自动摊平单热 Key。 扩容调整 Key 之间的数据分布,单 Key 的请求仍有集中处理的边界。
- 本地缓存没有上限。 Redis 热点可能转成 JVM 内存压力;短 TTL 不能代替容量限制。
- 只看 Redis 服务端耗时。 巨大响应的网络传输和客户端反序列化,也会让业务请求变慢。
7. 总结
热 Key 集中请求,大 Key 放大单次工作量;两者都可能让某个分片先达到容量边界。
- 先区分访问频率与操作规模,再判断瓶颈在哪一段;集群整体空闲不代表热点分片有余量。
- 诊断需要同时看服务端执行、网络字节和客户端处理,慢日志与大 Key 扫描各有观察范围。
- 用缓存、请求合并、分散访问降低热点压力,用缩小读取范围、限制规模和适用的异步删除治理大 Key,并确认一致性及资源代价。
下一篇:消息发出后去了哪里:从 Producer 到 Consumer 的完整链路。