外观
15 - 线程池任务堆积与接口超时
适用 JDK:JDK 8+。
前置阅读:09 - ThreadPoolExecutor 参数与容量设计、10 - CompletableFuture 异步编排。
摘要
假设下游响应比平时慢了 300ms,为什么上游可能在几分钟后大量超时?关键在于:任务占用工作线程的时间变长,单位时间能完成的任务变少;如果新任务仍以原来的速率到达,等待队列就会持续增长。队列能暂存任务,却不能增加处理能力。
本文先区分排队与执行,再说明如何定位耗时、控制过载并检查恢复效果。开头的时间是示例设定,不是实测故障记录。
1. 故障链路
先把线程池看成“等待队列 + 工作线程”:应用提交任务,工作线程负责执行,等待队列保存尚未开始的任务。具体何时入队、何时新增线程取决于线程池配置,见前置文章 09;这里关注工作线程已被占满、后续任务开始积压的阶段。
任务的耗时至少要拆成两段:排队时间是从提交到开始执行的时间,执行时间是从开始执行到结束的时间。执行时间也包含等待下游响应、连接或锁的时间,不等于 CPU 计算时间。接口还可能包含线程池之外的处理,因此任务耗时不能直接当作整个接口的耗时。
如果工作线程同步等待下游响应,下游变慢期间这些线程就无法处理其他任务。此时,到达速率(每秒提交多少任务)持续高于完成速率(每秒完成多少任务),队列会增长;后来的任务必须先等前面的任务释放线程。
图表将在阅读到此处时加载…
图中的重试环路以调用方在超时后重新提交请求为前提。原任务如果仍在等待或执行,新请求就会带来额外负载,进一步延长排队时间。
工作线程全部被占用是现象,不一定是根因。如果下游已到容量上限,扩大上游线程池可能让更多请求同时进入下游,进一步加重拥塞。应先查线程在执行什么、等待什么,再判断是否需要增加线程。
2. 必须拆分的指标
| 指标 | 含义与用途 |
|---|---|
pool size / active count | 当前池内线程数 / 正在执行任务的线程数;活跃不代表正在消耗 CPU |
queue size / remaining capacity | 等待任务数 / 队列剩余容量;用于观察积压和距离队列上限还有多远 |
completed task count | 累计完成任务数;比较时间窗口内的增量,观察完成速率 |
rejection count | 被拒绝的任务数;需要在提交入口或拒绝处理器中记录,并关联拒绝后的处理结果 |
| 任务排队时间 | 判断延迟是否主要发生在等待工作线程的阶段 |
| 任务执行时间 | 判断任务开始后是否变慢,包括计算和各种等待 |
| 下游响应时间、超时和错误率 | 判断线程池变化是否与下游故障同时发生 |
下面是计时片段,沿用已有的 executor、task 和 metrics 对象,并非可直接运行的完整程序。System.nanoTime() 的差值以纳秒表示,指标记录端需明确单位。
java
long submittedAt = System.nanoTime();
executor.execute(() -> {
long startedAt = System.nanoTime();
metrics.recordQueueDelay(startedAt - submittedAt);
try {
task.run();
} finally {
metrics.recordRunTime(System.nanoTime() - startedAt);
}
});片段只记录实际开始执行的任务:被拒绝后未执行或一直留在队列中的任务不会产生排队耗时记录,执行耗时也要等任务结束才会记录。若拒绝策略让提交线程执行任务,记录的第一段耗时则是提交到调用者开始执行的间隔,不能一概解释为队列等待。因此,故障期间还要结合队列中的任务年龄和拒绝指标,不能只看已完成任务的统计。
如果排队时间先上升、执行时间不变,优先检查入口流量和可用工作线程数;如果执行时间先上升,再出现排队,应继续查下游、锁、GC(垃圾回收)或本地资源。这个先后关系用于缩小范围,不能单独证明根因。
任务“年龄”指从提交到观测时已经过的时间;对于仍在队列中的任务,它反映已经等待了多久。Deadline 是请求允许完成的截止时刻。队列长度相同时,排队 20ms 与排队 3s 的风险不同;结合截止时刻,才能判断任务是否已经过期。
3. Little's Law 的直觉
Little's Law(利特尔法则)把平均任务数、到达率和停留时间联系起来。对长期稳定、观测边界一致的系统,可用下面的关系建立容量直觉:
text
系统内平均任务数 ≈ 平均到达率 × 平均停留时间假设到达率是 1000 req/s(每秒 1000 个请求),平均停留时间是 200ms,即 0.2s,则系统中平均约有 200 个在途请求。“在途”包括已经进入系统、尚未离开的请求;若观测边界包含队列,停留时间就必须同时包含排队和执行。这里算出的 200 不是所需线程数,也不是建议的队列容量。
该关系针对长期稳定系统的平均值,不能直接套用到队列不断增长的过载阶段,也不保证短时间窗口内的 P99。P99 表示 99% 的请求耗时不超过的值,用于观察较慢的那部分请求;这类少量但很慢的请求会拉长延迟分布的尾部,称为长尾延迟。容量设计仍需结合峰值到达率、服务时间分布和可接受的排队预算进行压测。
3.1 警惕协调遗漏
理解排队模型后,还要检查压测是否真的维持了目标流量。闭环压测中,每个模拟用户通常收到上一个响应后才发送下一请求。服务变慢时,同样数量的用户会发送更少的请求。若用这种结果评估固定到达率下的服务能力,原本应在停顿期间到达的请求就被遗漏了,可能低估排队和尾延迟。这类测量偏差常称为 coordinated omission(协调遗漏)。
容量验证应明确负载模型:
- 闭环模型适合模拟“用户等待结果后再操作”,但到达率会受服务延迟反向影响;
- 开放模型按计划速率产生请求,更适合验证系统在目标到达率下的过载行为;
- 压测工具若支持协调遗漏修正,应确认其原理和报表口径,不能只勾选选项。
压测端本身也可能因连接、线程或 CPU 不足,无法按计划发送请求。报告应同时记录计划到达率、实际发送率、完成率和客户端丢弃/超时数,避免把压测端的限制误认为服务端的容量。
4. 为什么扩大队列常常无效
假设请求总超时是 2s,任务在队列里已等待 3s,即使后续执行成功,调用方也可能已经超时并重试。调用方停止等待并不意味着原任务自动从队列中移除或停止执行;这些过期任务可能继续占用资源,却已无法按时返回结果。
扩大队列只会允许更多任务等待。在持续过载时,它不能提高完成速率,还可能延后拒绝并积累更多过期任务。有界队列(容量有上限的队列)可以限制积压;队列满时快速拒绝,并让上游快速失败或降级,才能把容量不足转化为明确的处理结果。若拒绝后立即重试,过载仍会被放大。
5. 治理策略
- 让各阶段共享整体超时预算:连接、读取等阶段的超时应受剩余预算约束,“一致”不是把所有超时设成同一个数值。
- 限制积压并记录拒绝结果:使用有界队列,明确拒绝后是快速失败还是降级,避免调用方一直等待。
- 按下游和业务重要性隔离线程池:防止一个慢下游占满共享线程,拖累其他业务;隔离后仍要控制各池的并发总量。
- 约束重试:设置次数上限和总预算;指数退避让连续重试的间隔逐步增大,抖动则给间隔加入随机变化,减少调用方同时重试。
- 在入口控制过载传播:限流限制接收速率或并发量,熔断在下游持续异常时暂时阻止调用,降级返回简化结果或替代响应。
- 在任务开始前检查 Deadline:过期任务直接丢弃或降级,同时明确通知等待方并处理必要的资源清理,不能只停止执行而让等待方悬空。
超时必须按层次区分:等待线程池、等待连接、建连、读响应和整体 Deadline 保护的不是同一阶段。完整预算模型见 分布式 11 - 超时预算与 Deadline;重试放大见 分布式 12 - 重试风暴与退避算法。
6. CallerRunsPolicy 的两面性
背压是让下游的容量限制反过来影响上游的生产速率。CallerRunsPolicy 让提交线程执行被拒绝的任务:提交者忙于执行,就暂时不能继续提交,从而可能降低新任务的提交速率。
代价是任务耗时转移到了提交线程。如果提交者是 Netty EventLoop(负责处理网络事件的线程)、Servlet 请求线程或其他关键调度线程,执行慢任务可能阻塞它原本负责的工作,将拥塞传播到入口。
是否使用必须结合提交者身份、执行器生命周期和失败处理方式评估,不能把它视为“不丢任务”的保证。具体拒绝条件与关闭行为应按目标 JDK 的 API 文档核对。
7. 排障决策树
- 先看排队时间:排队先升,检查入口到达率、执行器隔离和是否有新的任务来源。
- 再看执行时间:执行先升,对照下游延迟、连接池等待、锁等待、GC 和 CPU。
- 检查拒绝和调用方行为:拒绝后是降级、快速失败,还是立即重试或在关键线程执行。
- 检查过期任务:调用方已经超时的任务是否仍在队列或下游执行,取消信号是否真正传递到了任务。
- 建立端到端时间线:将线程池指标与入口、HTTP 客户端、连接池和数据库指标对齐。
若吞吐下降时客户端实际发送率也同步下降,先确认是否是闭环负载或压测端瓶颈,不要据此得出“服务已自动恢复”的结论。
如果还无法确定耗时阶段,使用 网络 22 - 接口偶发超时排查建立统一时间线;Kubernetes 场景可继续阅读 云原生 25 - Kubernetes 接口超时完整排查。
8. 止损顺序
在不同时改动多个参数的前提下,优先考虑:
- 拒绝明显已过 Deadline 的新任务;
- 限制无上限或激进的重试;
- 隔离最慢或非核心下游;
- 逐步摘流异常实例(停止向其分配新请求),同时保留指标和任务状态等现场;
- 在确认下游有余量后,才评估增加并发度。
恢复后要观察队列中任务的年龄、过期任务、重试流量和下游错误率,防止积压任务造成第二波冲击。还要在可比流量下检查完成速率与接口延迟;队列变短也可能只是入口流量下降,不能单独证明处理能力已经恢复。
9. 容易踩的坑
排障时尤其容易误读以下现象:
- 活跃线程数高,就认为 CPU 不够;线程也可能在等待连接、锁或下游响应。
- 已完成任务的耗时正常,就认为队列正常;一直没有开始或结束的任务尚未进入这类统计。
- 拒绝数下降,就认为过载消失;提交者可能正在执行被拒绝的任务,入口处理也可能因此变慢。
- 队列恢复到较低水平,就立即恢复全部流量;仍需确认过期任务和重试流量没有造成二次冲击。
10. 总结
线程池堆积是处理能力低于到达速率的结果,队列只能吸收短暂波动,无法修复持续过载。
排查时先确认时间花在排队还是执行,再把变化与入口流量、下游和本地资源对齐。治理时将有界队列、拒绝处理、超时预算与重试约束一起设计;增加并发前,先确认下游仍有容量。
文中的时间和请求数用于解释模型,不是历史实测记录。
延伸阅读:19 - BlockingQueue 与生产者—消费者模型进一步讨论容量、等待和端到端背压;验证方案见 A - Java 并发代码测试方法。
当固定并发上限无法适应下游容量变化时,可评估 33 - 自适应并发控制与过载保护,但仍需保留硬上限和降级。