外观
12 - 重试为什么会制造更大的故障:重试风暴与退避算法
摘要
一次调用失败后,再发起同一操作,就是重试。短暂的网络故障消失后,重试可能成功;如果失败源于下游过载,额外请求却可能让故障持续更久。设计重试时,需要先判断操作能否安全重复,再限制尝试次数、总耗时和额外流量。本文从负载放大的过程讲起,解释指数退避、随机抖动和重试预算,并给出 Java 17 的退避计算示例。
1. 场景:成功率先升后降
设想库存服务短暂超时,团队把重试次数从 1 调到 3。最初,部分请求通过重试成功;随着额外调用增多,库存服务的 QPS(每秒请求数)上升,数据库连接池耗尽,原本能成功的请求也开始排队、超时。
原因在于:超时只说明调用方没有及时收到结果,不代表下游已经停止处理。新尝试可能与尚未结束的旧尝试同时占用资源。资源越紧张,排队越久;超时越多,又会触发更多重试。这个“失败增加 → 重试增加 → 负载增加 → 失败进一步增加”的循环,就是重试风暴。
先区分两个计数:首次调用算一次尝试,失败后的再次调用才算重试。若原始请求为 1000 QPS,每个请求最多额外重试 3 次,就是最多尝试 4 次。在所有请求都用尽重试次数、且不考虑其他限流措施的负载估算中,库存服务会承受相当于 4000 QPS 的请求量;退避会改变这些请求到达的时间,这个数字不是任意一秒的实测值。
多层重试还可能让放大倍数相乘。例如,网关对一次业务请求最多尝试 4 次,而每次网关尝试中的客户端又最多调用库存 4 次,那么一个原始请求最多触发 16 次库存调用。SDK(软件开发工具包)中的客户端、网关和业务服务应协调重试职责,避免各层独立重试。
2. 哪些错误适合重试
通常需要同时满足:
- 错误可能是临时的,如连接重置、限流或短暂不可用;但错误类型只是判断起点,还需结合服务端提示和当前负载;
- 操作幂等,或携带由服务端正确处理的稳定幂等键;
- 剩余 Deadline 足够覆盖退避等待、下一次尝试以及返回所需时间;
- 下游尚未明显过载,重试受预算限制。
幂等是指同一业务意图执行多次,与执行一次产生等价的业务效果。幂等键用于识别这次业务意图,所有重试必须复用同一个键;仅携带一个字段并不能保证服务端会去重。尤其是写入超时,第一次操作可能已经成功,不能把“未收到响应”当作“未执行”。
Deadline 是整个请求的截止时间。首次尝试、退避等待和后续尝试都要共享同一份剩余时间,不能每次重试重新获得完整超时。重试前先检查预算,等待结束后、真正发起调用前再检查一次。
参数校验失败、权限不足、库存不足不会因立即重试而改变。限流也不意味着可以马上重试:例如收到 HTTP 429(请求过多)时,应遵循适用的 Retry-After 等服务端提示,并确认等待后仍有时间和流量预算;不满足条件时结束请求。
3. 指数退避与 Jitter
退避是指失败后先等一段时间再尝试,让下游有机会释放资源。指数退避会随着连续失败增加等待上限,并用最大值限制增长。它调整重试的时间分布,但不限制重试总量,因此仍需搭配次数上限、Deadline 和流量预算。
如果大量客户端同时失败,并使用相同的固定等待时间,它们可能再次同时发起请求。仅使用相同的指数退避序列,也可能保留这种同步尖峰。Jitter(随机抖动)通过随机选择等待时间,把重试分散开。Full Jitter 的做法是在零到本次等待上限 cap 之间取随机值。
下面的 Java 17 示例只计算退避时长,不执行等待或网络调用。attempt 表示重试序号,从 0 开始:首次失败后准备重试时传入 0。base 是初始上限,max 是最大上限。代码采用毫秒精度,适用于非空、非负、转换和运算不会溢出的时长,以及非负的 attempt。
java
import java.time.Duration;
import java.util.concurrent.ThreadLocalRandom;
public class Backoff {
static Duration fullJitter(int attempt, Duration base, Duration max) {
long exponential = base.toMillis() * (1L << Math.min(attempt, 20));
long cap = Math.min(exponential, max.toMillis());
return Duration.ofMillis(ThreadLocalRandom.current().nextLong(cap + 1));
}
public static void main(String[] args) {
for (int i = 0; i < 5; i++) {
System.out.println(fullJitter(i, Duration.ofMillis(50), Duration.ofSeconds(2)));
}
}
}示例中的计算规则是:
text
cap = min(base 的毫秒数 × 2^min(attempt, 20), max 的毫秒数)
等待毫秒数 = 从 [0, cap] 中随机选取的整数main() 的预期输出是五行随机时长,使用 Duration 的文本格式表示。五次等待上限依次为 50、100、200、400、800 ms;实际随机值可以为零,也不一定逐次增加。增加的是上限,不是每次抽出的等待值。
这个简化实现把指数限制在 20,但没有全面处理整数溢出:base.toMillis() 的转换、乘法和 cap + 1 都需要处于 long 的可用范围,随机数上界还必须大于零。接入业务前应限制输入范围或补齐边界处理。不同客户端库的公式、重试序号起点和最大等待规则可能不同,应按所用实现确认,不能直接套用此处序号。
4. Retry Budget
单个请求最多重试几次,只限制了单个请求的成本。大量请求同时失败时,即使每个只重试一次,也可能产生大量额外流量。Retry Budget(重试预算)进一步限制一组请求能够产生的重试总量。
例如,规定最近一个统计窗口内,额外尝试数不超过原始请求数的 10%。若窗口内有 1000 个原始请求,则最多允许 100 次额外尝试,而不是让每个请求都重试一次。这里的 10% 是策略示例,需要根据下游容量和业务目标选择。当下游大面积故障时,预算迅速耗尽,后续请求停止重试,减少对恢复容量的争抢。
预算可结合 Token Bucket(令牌桶)实现:允许重试时消耗令牌,没有令牌就不重试。若目标是限制重试占原始请求的比例,令牌补充和上限应与原始请求计数相配合;单纯按固定速率补充令牌,限制的是重试速率,不会自动维持这个比例。预算还可按下游、方法和租户隔离,避免一个故障接口耗尽其他调用的重试额度。
5. Hedged Request
Hedged Request(备份请求)是在原请求仍未返回时,再向另一副本发送同一请求,与等到失败后重试不同。它用于只读、幂等且对尾延迟敏感的场景。尾延迟指少数较慢请求的耗时;例如 P99 是第 99 百分位延迟,可用于观察这部分请求。
可以根据延迟分布选定触发阈值,例如第一份请求等待超过某个分位点对应的时长后发送备份,先返回者获胜。它用额外负载换取更早完成的机会;如果副本都受同一个瓶颈影响,备份也可能一起变慢。因此必须有严格预算,并在取得结果后取消尚未完成的请求。取消不保证远端执行立即停止,额外工作仍可能占用资源。这种策略不适用于有副作用的写入。
6. 容易踩的坑
- 网关、业务服务和 SDK 同时重试。 先梳理各层最大尝试次数,再明确谁负责重试及如何共享预算。
- 重试时重新生成幂等键。 服务端会把它识别为新的业务意图,去重保护可能失效。
- 收到 429 后忽略
Retry-After或服务端退避提示。 立即重试可能再次被拒绝,还会增加处理负担。 - 连接池已排队仍继续创建更多重试任务。 重试不仅增加下游调用,也会增加本地排队和资源占用。
- 每次尝试使用完整超时,不检查总 Deadline。 多次调用与退避相加,可能超过调用方愿意等待的总时长。
- 重试日志没有
attempt、最终结果和原始请求 ID。 应统一序号含义,用原始请求 ID 关联所有尝试,才能区分新增业务流量与重试流量。
7. 总结
重试是在用额外负载换取瞬时故障恢复,必须受到幂等、Deadline 和预算约束。
判断是否重试时,依次检查错误是否可能恢复、操作能否安全重复、剩余时间是否足够,以及下游是否还有可用预算。允许重试后,用指数退避配合 Jitter 分散到达时间,再用次数上限和 Retry Budget 限制总量。退避解决“何时再试”,预算解决“还能试多少”,两者共同降低重试风暴的风险。
下一篇:接口重复执行不是偶然:幂等性如何从协议落到数据层。