外观
10 - 下游只慢了 200 毫秒,为什么整个系统雪崩了
摘要
下游延迟从 50 ms 升到 250 ms,只多了 200 ms,为什么上游也可能超时?请求等待得越久,占用资源的时间就越长。流量持续进入时,有限的线程、连接和队列可能被占满,重试又会进一步增加负载。本文先建立请求停留时间的基本模型,再解释雪崩如何传播,以及如何保护系统和定位故障。
1. 场景:错误率还没升,系统已经撑不住了
设想订单服务同步调用库存接口:工作线程发出请求后,要等待库存返回才能继续处理订单。库存接口从 50 ms 变为 250 ms,但仍能成功返回,因此最初看到的可能只是响应变慢,错误率还没有明显上升。
在这种阻塞调用模型中,线程多等待 200 ms,就会更晚释放给下一个请求。如果新请求持续到达,而线程池的空闲容量不足,任务便开始排队。排队进一步增加总耗时,随后可能出现线程池满、网关超时和客户端重试,最终库存收到比平时更多请求。
这种局部故障沿依赖链扩大、使更多服务失去处理能力的现象,称为服务雪崩。它通常不是一个组件瞬间全挂,而是请求在每层停留更久,逐步占满有限资源。多慢 200 ms 并不必然导致雪崩:是否扩散,取决于流量、资源余量、排队方式和重试策略。
异步调用可以避免工作线程一直阻塞等待,但仍需保存未完成请求的状态,也可能占用连接或并发配额,因此同样需要限制同时进行的调用数量。
2. Little's Law 看懂并发增长
Little's Law(利特尔法则)把平均请求数、到达速率和停留时间联系起来。对能够维持稳定、长期平均值有意义的系统,可用下面的关系建立容量模型:
text
系统内平均请求数 L = 到达速率 λ × 平均停留时间 W计算前要选定同一个观察范围。例如,观察订单服务从接收请求到完成响应的过程,L 包括正在执行和排队的请求,W 包括排队、业务处理和等待下游的时间。λ 使用每秒请求数时,W 要换算成秒。
以每秒 1000 个请求为例:平均停留 50 ms,系统内平均约有 50 个请求;同一观察范围内的平均停留变为 250 ms,就约有 250 个。如果排队进一步把平均停留推到 500 ms,则约有 500 个,是最初的十倍。这些数字是模型计算示例,不是故障实测结果。
系统内请求数不等于线程数:排队请求未必已经占用工作线程,异步请求也未必独占线程。要换算资源需求,还需知道每个请求在哪个阶段占用线程、连接或其他资源。
该关系描述长期平均,不直接替代容量压测。当到达流量持续超过处理能力、队列不断增长时,不能把瞬时延迟代入公式,就当作系统达到了新的稳定状态。突发流量、服务时间分布和有界队列还会影响尾延迟,即响应最慢的那部分请求的耗时。
3. 故障传播链
在上述阻塞调用场景中,工作线程等待下游期间无法接新任务,后续请求便进入线程池队列。Deadline 指请求最晚应该结束的时刻;排队和调用都要消费同一份时间预算。下面展示可能发生的放大链路,超时后是否重试、是否产生连接和内存压力,取决于具体实现:
图表将在阅读到此处时加载…
重试形成了正反馈:等待越久,超时越多;超时触发更多重试后,到达流量增加,等待可能更久。若等待下游响应时持有连接,连接池也可能耗尽,后续调用只能继续等待可用连接。排队任务还会保留请求对象和上下文,增加内存占用;内存压力增大时,GC(垃圾回收)和线程调度开销可能进一步拖慢处理。
无界队列没有显式的长度上限,但仍受可用内存限制。它可能把过载时的拒绝推迟成内存压力和更长等待。例如,一个从入口开始只有 1 秒响应预算的请求,排队 5 秒后才执行,已经无法在预算内响应。不过,调用方超时不等于业务任务自动停止;已经产生的写入或必须完成的操作,仍需按业务语义处理。
4. 最小容量实验
下面的独立 Java 示例需要 JDK 8 或以上,文件名应为 QueueCollapseDemo.java,仅使用 JDK 标准库。它一次提交 30 个任务制造突发负载,用 Thread.sleep(500) 模拟任务占用工作线程 500 ms 的等待,不包含真实下游调用或客户端重试。
线程池固定使用 4 个工作线程,队列最多容纳 8 个等待任务。AbortPolicy 是拒绝策略:线程和队列都无法接收新任务时,抛出 RejectedExecutionException,由提交方捕获并打印拒绝信息。
java
import java.util.concurrent.*;
public class QueueCollapseDemo {
public static void main(String[] args) throws Exception {
ThreadPoolExecutor pool = new ThreadPoolExecutor(
4, 4, 0, TimeUnit.SECONDS,
new ArrayBlockingQueue<>(8),
new ThreadPoolExecutor.AbortPolicy());
for (int i = 0; i < 30; i++) {
int id = i;
try {
pool.execute(() -> {
try { Thread.sleep(500); }
catch (InterruptedException e) { Thread.currentThread().interrupt(); }
System.out.println("done " + id);
});
} catch (RejectedExecutionException e) {
System.out.println("rejected " + id);
}
}
pool.shutdown();
}
}预期行为:被接受的任务等待后打印 done <id>,无法接收的任务打印 rejected <id>。如果提交这 30 个任务期间,没有工作线程完成任务并从队列取走新任务,则最多接受 12 个任务,另外 18 个被拒绝。线程调度和输出速度会影响这一条件是否成立,因此不能把拒绝数量或打印顺序当作无条件保证。
shutdown() 停止接收新任务,但会让已接受的任务继续执行。这个例子展示有界队列如何暴露过载,不能直接作为系统容量的压测结论。生产中拒绝后应返回明确状态、计入指标,再由上游结合剩余预算和业务语义决定是否重试,避免立即重试制造新一轮压力。
5. 保护顺序
- 为调用设置小于请求剩余预算的超时,给后续处理和返回预留时间;排队也要计入预算,不能每进入一个阶段就重新获得完整预算。
- 限制每个下游的并发,隔离线程池或并发配额。故障域指共享资源耗尽时会一起受影响的范围;隔离能减少慢下游对其他调用的牵连。
- 队列有界,对尚未执行且已过期的请求尽早丢弃;已经执行的任务能否取消,取决于任务实现和业务约束。
- 只对可重试且幂等的错误做退避重试,并限制次数和总预算。幂等指重复执行同一操作不会造成额外业务效果;退避指在重试之间增加等待,避免连续冲击下游。
- 通过熔断给下游恢复窗口。熔断指失败或慢调用达到设定条件后,暂时阻止调用,再按策略探测是否恢复。
- 对非核心数据执行明确定义的降级,例如使用简化结果或关闭部分功能。明确哪些数据可以缺失或陈旧,不能把关键业务失败伪装成成功。
6. 容易踩的坑
- 只增大线程池和连接池。更多并发可能把压力继续传给下游,应先确认下游是否有处理余量。
- 只监控平均延迟,不看 P99、队列和
pending。P99 是第 99 百分位延迟,用于观察较慢请求;pending通常表示未完成或仍在等待的请求数,具体含义要以指标定义为准。 - 拒绝策略使用 CallerRuns。
CallerRunsPolicy在触发拒绝策略且线程池未关闭时,由提交任务的线程执行任务。如果提交方是 Netty 的 Event Loop(处理网络事件的事件循环线程),阻塞任务会妨碍它处理其他连接。 - 以为上游超时会自动停止服务端工作。未取消的排队任务和仍在执行的调用可能继续占用资源,甚至与重试请求同时执行。
- 每层独立重试。外层的一次重试会重新触发内层调用及其重试,最坏情况下形成乘法放大的流量,应从整条调用链限制重试预算。
7. 排障证据
按同一时间轴对齐 QPS(每秒请求数)、活跃线程、队列长度、连接池等待、GC、下游 P99、超时和重试次数。比较时确认指标属于哪个服务、哪个资源池,以及延迟是否包含排队时间。
先看下游延迟是否在入口流量没有明显变化时上升,再检查线程是否接近上限、连接池等待和队列是否增长。随后观察超时增加后,重试次数与下游调用量是否继续增加:入口业务请求数不变,也可能因重试产生更多实际调用。若内存压力和 GC 耗时也上升,再判断它们是在放大故障,还是更早出现的诱因。
最早发生拐点的指标通常比最后出现的 5xx(HTTP 服务端错误状态码)更接近故障源,但时间先后只是线索。还要结合调用链、线程状态和资源池配置确认等待关系,避免把传播过程中的结果误当成起因。
8. 总结
慢下游引发雪崩的核心链路,是请求停留时间增加后,等待中的请求占满有限资源,排队和重试再继续放大压力。
流量不变也可能出现资源饱和,但是否雪崩取决于容量余量和保护机制。用 Little's Law 理解平均请求数的变化,再用有界队列、并发隔离和统一时间预算限制扩散。排障时沿等待链寻找最早饱和的资源,并检查重试是否进一步增加了调用量。
下一篇:超时应该设多少:从调用预算到全链路 Deadline。