外观
18 - 缓存穿透、击穿、雪崩不是一回事:现象、证据与治理方案
摘要
数据库查询量突然上涨,可能是请求反复查询不存在的数据,也可能是热点缓存失效,或大量缓存同时不可用。三者都会增加数据库压力,但触发原因和治理重点不同。本文先解释缓存读取链路,再根据请求的 Key 分布和失效时机区分穿透、击穿与雪崩,说明空值缓存、布隆过滤器、请求合并、逻辑过期和过期时间随机化的适用边界。
1. 三种故障形态
以商品查询为例,数据库保存商品数据,缓存按商品 ID 保存副本。**Key(键)**是定位缓存条目的标识,例如 product:123。基本读取路径是:
- 先查缓存;找到可用结果称为命中,可以直接返回。
- 缓存中没有可用结果称为未命中,应用转而查询数据库,这一步称为回源。
- 把数据库查询结果写入缓存,供后续请求使用,这一步称为回填。
缓存通过命中减少数据库查询。条目过期、被删除或缓存服务不可用时,请求可能重新回源;如果回源并发超过数据库承受能力,就可能出现排队、延迟上升和超时。**QPS(Queries Per Second)**表示每秒查询数,但数据库压力还取决于每次查询的成本,不能只看请求数量。
| 问题 | 流量形态 | 典型原因 | 治理重点 |
|---|---|---|---|
| 穿透 | 请求查询缓存和数据库中都不存在的数据,可能集中于同一个 Key,也可能遍布大量不同 Key | 恶意参数、错误 ID;不存在的结果没有被缓存 | 减少无效查询进入数据库 |
| 击穿 | 一个热点 Key 失效后,大量请求同时回源 | 热点条目过期或失效,加载期间缺少并发协调 | 合并或限制同一个 Key 的加载 |
| 雪崩 | 大批 Key 同时失效,或缓存整体故障,大量请求集中回源 | 同 TTL、重启后缓存尚未恢复、集群异常 | 分散失效时机,并限制整体回源量 |
热点 Key指访问频率很高的键;**TTL(Time To Live,生存时间)**决定缓存条目多久后过期。重启是否导致缓存不可用或数据缺失,取决于部署方式和恢复机制,不能只凭重启就判定雪崩。
排查时要把数据库查询量、缓存命中率、请求的 Key 分布、过期时刻和缓存错误放在同一时间线上看。大量无效 ID 指向穿透;单个热点失效后并发回源指向击穿;广泛未命中或缓存连接失败指向雪崩。这些现象也可能同时发生,不能仅凭数据库 QPS 上涨就下结论。
2. 穿透治理
如果数据库中没有某个商品,应用又只缓存查到的商品,那么下一次请求仍会经历“缓存未命中 → 数据库查不到”。即使反复访问同一个无效 ID,缓存也无法减少查询。
一种办法是空值缓存,也称负缓存:短期保存“商品不存在”的结果。应用需要区分“缓存中没有条目”和“条目明确表示不存在”,命中后者就可以直接返回不存在。它对重复访问同一个无效 Key 有帮助;如果请求不断换成新的无效 Key,空值缓存仍会增加条目数量,因此还需限制容量和无效流量。
空值的 TTL 应结合业务创建频率和允许的等待时间设置。商品刚创建时,旧的空值条目可能继续挡住查询;可以在创建成功后使对应空值缓存失效,并处理失效失败和并发回填。短 TTL 能缩短空值条目的存活时间,但不等于新数据立即可见。
另一种办法是 Bloom Filter(布隆过滤器):用位数组和多个哈希函数保存集合的存在性信息。哈希函数把 Key 映射到数组位置;插入时把对应位置置位,查询时检查这些位置。若有位置未置位,就判断该 Key 不在集合中;若全部置位,也可能只是其他 Key 占用了这些位置,这称为假阳性,即把不存在的元素判断为可能存在。
它可以放在缓存查询前,拒绝被判定为不存在的 Key,让“可能存在”的 Key 继续走缓存和数据库查询。判定不存在即可拒绝的前提,是所有需要查询的数据都已加入过滤器,且过滤器正确工作。 若新商品已经写入数据库,却尚未加入过滤器,就可能被错误拦截。因此,新数据加入、初始化加载和数据同步必须纳入设计。
标准布隆过滤器不能直接清除某个元素对应的位,因为这些位可能也被其他元素使用。容量和误判率需要预先设计;超出设计规模会影响过滤效果。具体实现、哈希函数和删除支持应按所用库版本核对。过滤器只减少一部分无效回源,不能代替数据库对数据是否存在的最终判断。
3. 击穿治理:SingleFlight
热点商品缓存过期后,第一个请求开始查询数据库。在它完成查询并回填之前,后续请求仍会未命中;如果每个请求都独立加载,同一个商品就会触发大量重复查询。
**SingleFlight(请求合并)**让同一个 Key 在一次加载尚未结束时,只由一个调用方执行加载,其他调用方等待并共享结果。下面是 Java 类示例,使用 Java 8 起提供的并发 API;它只实现请求合并,缓存读取、回填和业务调用需要由调用方接入:
java
import java.util.concurrent.*;
final class SingleFlight<K, V> {
private final ConcurrentHashMap<K, CompletableFuture<V>> loading = new ConcurrentHashMap<>();
V load(K key, Callable<V> loader) {
CompletableFuture<V> mine = new CompletableFuture<>();
CompletableFuture<V> existing = loading.putIfAbsent(key, mine);
if (existing != null) return existing.join();
try {
V value = loader.call();
mine.complete(value);
return value;
} catch (Throwable t) {
mine.completeExceptionally(t);
throw new CompletionException(t);
} finally {
loading.remove(key, mine);
}
}
}loading 是记录正在加载任务的表。putIfAbsent 原子地放入当前任务:若该 Key 已有任务,就返回已有的 CompletableFuture,即一个表示未来结果的对象,调用方通过 join() 等待它完成;否则当前调用方执行 loader。加载成功时共享结果,失败时通过异常通知等待者,最后删除对应任务。
预期行为是:同一个 SingleFlight 实例中、同一个 Key 的加载尚在进行时,后续调用共享这次加载结果。 不同 Key 可以各自加载;任务删除后,新的调用可以再次执行 loader。它没有长期保存结果,也没有实现缓存本身。
接入缓存链路时,所有需要合并的调用方必须共享该实例。加载方应在合并范围内再次检查缓存:首次查询缓存与进入 load 之间,其他任务可能已经完成回填。仍未命中时再查询数据库,并在结束加载前回填,减少后续请求重复加载。
这个实现只合并单进程中共享实例的请求。多实例部署时,每个实例仍可能各自回源一次,可结合分布式协调或数据库容量保护。分布式协调需要处理锁有效期、加载失败和等待策略,不能仅靠加锁就保证数据库安全。
示例中的 join() 没有超时限制,loader 若一直不结束,等待者也会一直等待。实际接入需要设置加载与等待的时间预算,并明确超时后是失败返回、使用允许的旧值,还是采用其他受限策略;不能让所有超时请求立即独立回源,否则会重新制造并发压力。
4. 逻辑过期
逻辑过期是在缓存值中附带业务过期时间,由应用判断数据是否需要刷新。它与缓存系统按 TTL 删除条目不同:逻辑过期后,旧值仍可留在缓存中供读取。
对于允许短暂陈旧的热点数据,可以采用以下流程:
- 数据未到业务过期时间时,直接返回缓存值。
- 到期后先返回旧值,同时由少量线程异步加载新数据并回填。
- 刷新期间继续读取旧值,避免所有请求一起等待数据库。
这里的“少量线程”需要通过请求合并或其他协调机制落实;如果每个读取请求都触发刷新,仍会产生大量回源。缓存中完全没有旧值时,也无法按这个流程直接返回,需要另行加载并保护数据库容量。
该方案把等待新数据的压力转化为接受旧数据的时间窗口。需要明确允许陈旧多久、刷新失败如何处理,以及何时停止返回旧值。价格、权限等数据不能随意使用旧值,必须由业务确认。若还设置了物理 TTL,则要考虑条目被删除后如何加载;逻辑过期也无法独自解决缓存整体不可用。
5. 雪崩治理
雪崩的关键是大量请求同时失去缓存保护。一个 Key 的请求合并仍有帮助,但当许多不同 Key 同时需要加载时,各 Key 的加载总量依然可能压垮数据库。
- 给 TTL 加随机扰动。 在业务允许范围内错开条目过期时间,降低整批同时失效的风险。它针对集中到期,不能解决缓存整体故障。
- 分批预热。 预热是提前加载预计会被访问的数据。控制批次和并发,避免发布瞬间把全部 Key 的加载压力转给数据库。
- 限制回源并发。 缓存故障时,为数据库查询设置总量上限,并明确超过上限时的排队、拒绝或降级策略。降级指返回业务允许的替代结果或暂时关闭部分功能;具体行为需要符合业务要求。
- 明确多级缓存的边界。 多级缓存是在应用本地、共享缓存等层次保存副本,可分担部分请求,但每层都需要容量上限、过期策略和一致性要求,避免把压力转成应用内存耗尽或长期读旧值。
- 对核心热点提前续期。 在条目失效前安排刷新,减少热点突然未命中的机会。续期不能只是不断延长旧值的寿命,还要确保数据得到更新,并处理刷新失败。
这些措施分别控制失效时机、加载方式和回源总量。数据库容量保护需要覆盖缓存正常与故障两种状态;限额应结合实际查询成本和可承受负载制定,不能直接套用固定数值。
6. 容易踩的坑
- 分布式锁有效期短于加载时间。 第一个加载者尚未完成,锁已过期,其他实例可能再次获得锁并回源。应考虑实际加载时间、续期和失败处理。
- 获取锁失败后立即循环重试。 等待数据库加载的请求反复访问 Redis,会制造新的热点;重试应有等待间隔和退出条件。
- 空值 TTL 直接照搬正常值。 正常数据允许缓存的时长,未必适合“不存在”的结果,过长的空值缓存可能掩盖刚创建的数据。
- 所有 Key 统一整点过期。 大量未命中集中出现,回源压力也随之集中;过期时间应结合业务要求适当分散。
- 缓存整体故障时无条件回源。 平时由缓存承担的流量会直接进入数据库,即使已做热点请求合并,也需要限制整体回源量。
7. 总结
穿透是不存在的数据反复回源,击穿是单个热点失效后并发加载,雪崩是大量缓存能力同时消失。
- 先结合 Key 分布、失效时机和缓存错误判断原因,不能只看数据库 QPS。
- 用空值缓存和布隆过滤器减少无效查询,用 SingleFlight 合并同 Key 的并发加载;允许短暂陈旧时,可用逻辑过期缓解热点刷新压力。
- 用 TTL 随机化分散批量过期,并对所有方案设置数据库回源容量边界。
下一篇:Redis 热 Key 与大 Key 如何拖垮集群。