外观
30 - 单机请求合并与 SingleFlight
适用 JDK:JDK 8+。本文只保证单 JVM 内请求合并,多实例仍会分别加载。
摘要
缓存失效时,如果一百个请求同时查询同一商品,每个请求都去数据库加载,会重复执行相同工作。SingleFlight(单次在途任务共享)让这些请求共用一次加载:一个请求发起任务,其余请求等待同一个结果。
这里的 Key 是用于判断请求能否合并的业务标识,例如商品 ID;在途任务是已经登记、尚未完成的任务,包括排队和执行中的加载。本文先解释如何登记、共享和移除任务,再讨论超时、错误、缓存与容量。合并只在同一 JVM(Java 虚拟机进程)内生效,也不能替代下游容量和超时保护。
1. 基本状态模型
可以用一张并发 Map 记录“哪个 Key 正在加载”,每个条目的值是一个 CompletableFuture。它代表将来才会得到的结果,最终可以正常完成,也可以携带异常完成。多个调用者引用同一个 Future,就能等待同一次加载,而不必各自访问下游。
同一个 Key 的生命周期分为三步:
- 没有条目时,请求尝试放入自己的 Future。成功登记的请求称为 Leader,负责提交加载任务。
- 已有条目时,后来的请求称为 Follower,复用已有 Future,不再提交加载。
- 加载成功或失败后,完成 Future 并移除对应条目;后续请求可以发起新一轮加载。
关键是把“检查是否存在”和“登记新任务”合成一个原子操作,即其他线程不能插入这两步之间。否则两个请求可能都看到 Key 不存在,分别启动加载。putIfAbsent 只在 Key 不存在时插入,并返回原有值,据此选出本轮 Leader。
下面是 JDK 8+ 的局部实现,省略导入、业务类型 Value、加载线程池 loaderPool 和完成函数 completeLoad,不能直接作为完整程序运行。它使用 java.util.concurrent 中的 ConcurrentHashMap 和 CompletableFuture;要求 Key 非空,同一组需要合并的调用共用这个 inFlight 实例:
java
private final ConcurrentHashMap<String, CompletableFuture<Value>> inFlight =
new ConcurrentHashMap<>();
CompletableFuture<Value> load(String key) {
CompletableFuture<Value> candidate = new CompletableFuture<>();
CompletableFuture<Value> existing = inFlight.putIfAbsent(key, candidate);
CompletableFuture<Value> shared;
if (existing != null) {
shared = existing;
} else {
shared = candidate;
candidate.whenComplete((value, error) -> inFlight.remove(key, candidate));
try {
loaderPool.execute(() -> completeLoad(key, candidate));
} catch (RuntimeException rejected) {
candidate.completeExceptionally(rejected);
}
}
// 给每个等待者返回独立视图,避免 cancel() 直接取消共享 Future
return shared.thenApply(value -> value);
}candidate 是本次请求准备登记的 Future;existing 非空表示已有任务,本次请求直接复用它。Leader 在提交任务前注册 whenComplete 回调,使 Future 正常或异常完成时都能触发清理。若提交同步抛出 RuntimeException,代码会让 Future 异常完成,避免已经登记却没有任务执行的条目一直留在 Map 中。
未展示的 completeLoad 必须把成功结果交给 candidate.complete(value),把加载异常(包括调用加载逻辑时同步抛出的异常)交给 candidate.completeExceptionally(error)。若某条路径既不完成 Future,也没有超时兜底,该 Key 就会一直被占用,后续请求也只能继续等待。
remove(key, candidate) 只在当前条目仍对应这个 Future 时删除。若旧任务清理时同 Key 已登记新任务,它不会误删新条目。生产实现也不应在 computeIfAbsent 的映射函数中执行慢 I/O(例如数据库或网络访问):登记共享任务应尽快结束,耗时加载交给执行器。
2. Leader 与 Follower 的超时不同
Leader 负责发起加载,但不因此拥有其他请求的等待预算。**Deadline(截止时间)**规定一个请求最晚可以等到何时;不同 Follower 的剩余预算可能不同。某个 Follower 超时,只说明它不能再等,不代表共享加载已经没有用途。
例如,两个请求共用一次商品加载,其中一个先到截止时间,另一个仍愿意等待。前者应结束自己的等待;若它取消共享 Future,后者也可能收到失败。因此需要分别设计共享加载的超时和每个等待者的超时,示例代码本身尚未实现这两类超时。
只有在确认没有等待者、底层操作可取消且取消符合业务语义时,才能尝试终止共享加载。简单地对共享 Future 调用 cancel(true) 可能让其他仍有预算的请求一起失败。
示例用 thenApply(value -> value) 为每个调用者创建一个依赖阶段,也就是接收共享 Future 结果的独立 Future。它不改变加载结果,但让调用者取消自己的返回值时,不会直接取消内部共享 Future。这个视图也返回给 Leader,避免它的请求超时影响其他等待者。
若 API 还需要限制调用者自行完成结果,应设计只读接口,例如只暴露 CompletionStage 或自定义等待句柄。CompletionStage 表达结果处理与组合操作,但仅改变声明类型并不等于实现了严格的只读封装;仍需检查调用者能否通过实际对象或转换方法取得可修改的 Future。
3. 错误是否共享
共享加载异常完成时,等待它的请求通常也会一起失败。合并减少了下游调用,却把这一轮请求的结果绑定在同一次加载上。因此需要明确:
- 哪些异常可立即重试;
- 是否短暂缓存失败以避免下游持续抖动;
- 鉴权失败、参数错误等是否能在不同调用者间共享;
- 超时是共享加载超时,还是某个等待者自己的预算耗尽。
错误能否共享,首先取决于这些请求是否本来就应该得到相同结果。租户是系统中需要隔离数据或资源的一组用户或组织。如果相同资源 ID 在不同租户、不同权限下返回不同内容,只按资源 ID 合并就可能把一方的数据返回给另一方,造成越权。Key 必须包含所有影响结果的隔离维度,不能只追求更高的合并率。
4. 与缓存的边界
SingleFlight 保存的是在途任务的引用,完成后通常移除;缓存保存的是已经加载出的结果,供之后的请求复用。没有结果缓存时,本轮加载结束后再来的请求仍可能重新加载。因此两者可以组合:
text
读取缓存 → 未命中 → 合并在途加载 → 写缓存 → 唤醒等待者上面是流程示意,示例代码未包含缓存读写。实现时需决定缓存写失败是否影响返回结果;也需处理负缓存(短暂保存“数据不存在”等结果)和过期抖动(让过期时间适当错开,减少集中失效)。回源指缓存未命中后访问数据库或其他数据来源。多个实例各有自己的在途表,仍可能同时回源,跨实例缓存击穿治理见 分布式 18 - 缓存穿透、击穿与雪崩。
4.1 失效期间的旧值回写
缓存失效或配置更新可能与在途加载并发发生:
text
旧版本加载开始 → 数据更新并清缓存 → 旧加载完成并把旧值写回缓存这里的问题是加载期间数据已经变化,旧加载却仍有机会把结果写回。SingleFlight 只决定哪些请求共用任务,不判断结果是否过时。可为数据携带版本号,在写缓存前比较当前版本;或让失效操作递增 generation(代次),加载开始时记录代次,写回时检查是否仍是当前代次。旧代次的结果只能返回给当前等待者,不能写入共享缓存;等待者是否允许接收旧值,还需由业务一致性要求决定。
版本或代次方案必须协调“校验”和“写入”:若检查通过后数据又更新,再写缓存仍可能产生旧值回写,不能仅添加一次未受协调的比较就认为问题已经解决。
直接在失效时取消 Future 仍不可靠:底层查询可能已经完成,取消也不能撤销后续回调。版本校验比依赖取消时机更容易证明。
5. 容量与热点
SingleFlight 能把同 Key、同一轮在途任务的并发回源合并为一次,但不同 Key 仍各自需要加载。大量不同 Key 同时未命中时,loaderPool 和下游仍可能满载,所以必须同时限制:
- 全局在途 Key 数;
- 单租户或业务域并发;
loaderPool的队列容量,并明确提交被拒绝时如何让请求失败;- 单次下游调用的超时及等待者 Deadline;
inFlight条目的最长存活时间。
条目超时后的清理还需与底层加载协调:只从 Map 删除条目不会停止旧加载,新请求却可能立即启动同 Key 的新加载。应明确是否允许二者重叠,以及旧任务完成后如何处理结果和缓存写入。
热 Key是请求集中访问的业务标识。即使它只对应一次底层加载,也可能聚集大量等待者和回调,占用内存,并在完成时集中触发后续处理。因此“下游调用减少”不代表等待者数量和本地资源消耗也自动受控。
6. 可观测与测试
以下是观测与测试建议,本文未执行这些测试,也未提供实测记录。应先确认正常路径只提交一次同 Key 加载,再检查失败、取消和失效时是否仍符合设计:
- 记录合并命中率(复用已有任务的请求数占参与合并请求数的比例)、Leader/Follower 数、加载耗时和等待者超时;
- 区分底层加载失败与 Follower 自身超时;
- 注入提交拒绝、同步异常、加载超时和回调异常;
- 验证完成后只删除当前 Future,避免旧任务完成时误删同 Key 的新任务;
- 用多租户和不同权限参数测试 Key 隔离;
- 构造“加载中发生缓存失效”,确认旧版本不会重新写回;
- 取消一个 Follower,确认其他等待者和底层加载不受影响。
7. 总结
SingleFlight 的核心是原子登记一个共享 Future,让同 Key 的请求复用这一轮加载,并在完成后安全清理。结果缓存负责后续复用;超时、隔离和容量控制则决定共享加载在失败和高负载下是否仍可用。
inFlight条目必须在所有终态下安全删除。- Follower 超时不应默认取消共享任务。
- Key 隔离、全局容量和错误共享策略必须一起设计。