外观
27 - 并发任务泄漏与进程无法退出
适用 JDK:JDK 8+;虚拟线程相关观测需按目标 JDK 核对工具能力。
摘要
应用已经停止接收流量,Pod(Kubernetes 中运行容器的基本单元)却迟迟无法退出;或者一次请求早已超时,后台任务仍不断访问下游。这两种现象都需要检查任务是否有明确的结束路径。
先区分四个对象:请求是调用方等待的一次业务处理;任务是提交到后台执行的工作;执行器负责接收、排队和执行任务;JVM 进程承载线程与资源。请求返回,只结束了调用方的等待,不会自动取消后台任务;执行器停止接收任务,也不代表已有任务和线程已经结束。
本文所说的任务生命周期泄漏,是指工作已经不再需要,却仍在运行、排队或占用资源。排查时要回答:谁负责这项工作,何时应该结束,以及结束请求能否传到实际执行的位置。
1. 三类常见泄漏
| 类型 | 表现 | 常见根因 |
|---|---|---|
| 线程泄漏 | JVM 无法退出、线程数持续增加 | 不再需要的非守护线程仍存活,或执行器未关闭 |
| 任务泄漏 | 请求结束后任务仍运行 | Future 被丢弃、取消未传播 |
| 队列泄漏 | 内存增长、旧任务持续滞留 | 无界队列、过期任务不清理 |
这三类问题分别关注执行线程、后台工作和等待中的工作,可以同时出现,但要分清两条因果链:
- 线程存活:执行器未关闭,工作线程可能继续执行任务或等待新任务;如果这些线程是非守护线程,就可能使 JVM 无法自然退出。
- 对象保留:仍可达的执行器持有队列,队列中的任务又引用请求对象或 ClassLoader(类加载器,负责加载类),这些引用可能使相关对象无法被垃圾回收。无界队列没有容量上限,积压持续增长时,还可能保留越来越多的对象。
对象被任务引用,本身并不会阻止线程结束。因此,“进程为什么不退出”要检查线程及执行器的关闭路径,“对象为什么没有释放”则要检查引用链。
不过,长期存活的线程或请求结束后的任务不一定是泄漏。应用级线程池、明确设计为异步完成的工作,都可以比单次请求活得更久。判断依据是它们是否超出了约定的生命周期,以及是否仍有人负责等待、取消和收尾。
2. 为什么 JVM 不退出
非守护线程会阻止 JVM 因普通线程执行完毕而自然退出;守护线程不会单独维持 JVM 的存活。只要仍有非守护线程存活,仅让主线程或请求线程返回就不足以使 JVM 自然退出。常见来源包括自建 Thread、ExecutorService、定时执行器、客户端内部线程和测试中遗留的服务线程,需要检查它们实际使用的线程配置。
执行器关闭要区分“停止接收”和“完成终止”。下面是局部关闭片段,假设 executor、log 和相关导入由应用提供,调用处还需处理 InterruptedException;它不是完整的可运行示例:
java
executor.shutdown();
if (!executor.awaitTermination(30, TimeUnit.SECONDS)) {
List<Runnable> neverStarted = executor.shutdownNow();
log.warn("forced shutdown, queuedTasks={}", neverStarted.size());
}shutdown() 停止接收新任务,让已提交任务继续执行;awaitTermination() 在这里最多等待 30 秒,检查执行器是否终止。若等待超时,代码调用 shutdownNow(),尝试中断运行任务并返回尚未开始执行的任务列表。这个片段没有在 shutdownNow() 后再次等待,也没有处理返回的任务,因此日志只说明发出了强制关闭请求,不能证明任务已经结束或得到妥善处理。
中断是协作式停止信号:执行中的代码需要响应它并退出。shutdownNow() 不保证线程立即终止。任务若忽略中断、卡在无超时的 I/O(输入输出)或 Native(本地代码)调用中,进程仍可能无法按期退出。
虚拟线程是守护线程,不会仅因仍有虚拟线程存活就阻止 JVM 退出。这并不意味着可以忽略其生命周期:进程退出会终止未完成工作,外部写入可能处于未知状态,资源释放和审计记录也可能来不及完成。虚拟线程相关能力与观测方式仍需按目标 JDK 核对,不能把本文的 JDK 8+ 基础适用范围理解为 JDK 8 支持虚拟线程。
因此,排查“JVM 不退出”时先找存活的非守护平台线程;排查“请求结束后仍有工作”时,平台线程和虚拟线程都要检查。
3. 请求结束不等于子任务结束
下面是一个丢弃任务句柄的局部反例,业务方法和变量由应用提供:
java
executor.submit(() -> callSlowDownstream(request)); // Future 被丢弃
return timeoutResponse();submit() 返回的 Future 是任务句柄,调用方可以通过它等待结果、查看失败或请求取消。这里没有保存句柄,返回超时响应后,后台任务仍可能继续调用下游;调用方也难以追踪它何时结束。
保存 Future 只是第一步。即使调用 cancel(true),也只是尝试通过中断停止执行;底层库必须响应中断,或提供独立的超时和取消能力。否则,调用方已经不再等待,实际的数据库语句、HTTP 请求或消息发送却仍在推进。
还要区分“本地任务停止”和“外部操作未发生”。数据库写入或消息发送可能在取消前已经成功,取消不能自动撤销这些副作用,也不能仅凭本地取消状态判断远端结果。
一组子任务应有明确的父作用域,即负责创建、等待和收尾这组任务的请求或组件;还应有共同的 **Deadline(截止时间)**和失败策略。共同截止时间让子任务使用同一份剩余时间预算,避免每一层重新等待一个完整超时时长。失败策略则要规定:一个子任务失败后,其他任务继续、取消还是等待完成。
使用稳定 API 时,可通过显式保存 Future 列表管理这组任务,再由应用落实等待、取消和失败处理;目标 JDK 允许时,可评估 18 - 结构化并发与任务生命周期。
4. 被队列保留的对象
队列占用的内存不只包括任务对象本身。Runnable、Callable 或 lambda 可能引用整个请求、响应缓冲、大集合、MDC 快照或 Spring Bean。MDC 是日志诊断上下文,快照通常保存请求标识等日志字段;lambda “捕获”对象,指它为了后续执行而保留对外部对象的引用。
垃圾回收关注对象是否仍然可达,也就是能否从存活线程等垃圾回收根沿引用链找到它。如果队列本身仍然可达,并通过强引用持有任务及其引用的对象,这些对象就不能仅因请求已经返回而被垃圾回收。积压一万个“小任务”时,真实保留集可能达到数 GB。这里的保留集指随任务一起被保留的对象集合;具体规模取决于任务引用的数据量,上述数量仅用于说明风险,本文没有对应的测量环境或实测记录。
**堆 Dump(堆转储)**用于查看内存中的对象及引用关系。排查时应沿以下路径查看,确认队列是否把请求相关对象保留了下来:
text
Executor -> workQueue -> Runnable/FutureTask -> captured fields -> request graph这条路径依次表示执行器、工作队列、任务包装、捕获的字段以及请求对象图。关注引用链,是为了找到谁仍持有对象,而不只是统计任务数量。
还要检查已取消的定时任务是否仍在延迟队列中等待到期。逻辑上取消并不一定意味着立即从队列移除;相关清理策略见 20 - ScheduledThreadPoolExecutor 与定时任务。
5. 现场排查顺序
先确认卡在任务执行、队列排空还是资源关闭,再选择修复。线程 Dump(线程转储)是某一时刻线程状态和调用栈的快照,单份快照不能证明一个线程已经卡住多久。
- 确认退出阶段仍存活的非守护线程名称和创建来源,找到负责关闭它们的组件。
- 连续采集线程 Dump,区分正在执行、锁等待、
park等待和无超时 I/O。park是暂停线程等待唤醒的机制,出现它本身不等于发生故障,要结合调用栈判断等待对象。 - 导出执行器的 active(活动任务数)、queue(队列长度)、completed(完成数)、cancelled(取消数)和 rejection(拒绝数)指标。具体名称及可用性依赖执行器和监控实现,取消与拒绝可能需要额外记录。
- 检查最旧任务的等待年龄及请求是否早已超过 Deadline,区分正常排队与不再需要的过期工作。
- 内存异常时获取堆 Dump,定位队列和
ThreadLocal保留链。ThreadLocal用于保存线程局部数据;线程持续存活时,应检查这些数据是否按约定清理。 - 核对关闭钩子的调用顺序,避免先关闭依赖资源、后排空仍需这些资源的任务。
容器退出还受 terminationGracePeriodSeconds(终止宽限期)和进程信号处理影响。Kubernetes 最终强制终止进程,只能让进程停止,不能证明此前的任务已安全完成。
5.1 区分没有退出与无法终止
根据关闭进度,可以把现场分成四种情况:
| 情况 | 需要检查的原因或处理路径 |
|---|---|
| 没有发起关闭 | 组件生命周期回调未执行,执行器仍接受任务;检查关闭入口是否触发 |
已 shutdown 但未终止 | 队列仍在排空或运行任务未结束;检查积压量、任务耗时和阻塞点 |
shutdownNow 后仍存活 | 任务不响应中断、卡在外部调用,或关闭逻辑发生等待环;沿调用栈查找无法推进的位置 |
| JVM 已退出但任务丢失 | 只依赖守护线程或内存队列,没有持久化和完成确认;检查工作是否允许丢弃或需要恢复 |
等待环指关闭操作之间互相等待,例如关闭逻辑等待某任务,而该任务又等待只有关闭逻辑继续执行才能释放的资源。这四种情况需要不同处理,不能统一归因于“线程池没关”。
6. 生命周期设计
设计时先确定所有权:谁创建执行器,谁负责关闭;谁提交任务,谁负责结果或取消后的收尾。共享执行器不能由任意一次请求关闭,否则会影响其他调用方。
- 创建执行器的组件负责关闭它,调用方遵循该组件约定的生命周期。
- 任务提交后有明确的结果、取消或统一观测路径,避免成功、失败和取消都无人处理。
- 接到停止信号后先停止接收新任务,再按策略排空或取消。排空指处理完已接收的任务。
- 每个阻塞点都要有中断响应、超时或截止时间约束,并确认底层调用支持相应机制。
- 外部副作用使用幂等键或状态机处理“调用方已取消但操作已成功”。幂等键用于识别重复操作;状态机用于记录操作进度及允许的状态转换,两者都需要结合外部系统的实际能力设计。
- 线程工厂设置可识别的线程名称和统一未捕获异常处理器;通过
submit()提交的任务还应沿Future路径观测失败,不能只依赖线程异常处理器。
关闭顺序通常是依赖图的逆序:先阻止入口产生新任务,再等待业务执行器,最后关闭业务任务依赖的 HTTP 客户端、连接池和监控上报器。这里的依赖图表示“哪个组件需要哪个组件才能完成工作”。提前关闭下游资源,会让本可排空的任务集中失败;过晚停止入口,则会持续产生新任务,使排空难以完成。
JVM shutdown hook(关闭钩子)是在 JVM 关闭阶段执行的收尾逻辑。注册钩子时不要假定它可以无限运行,也不要让多个钩子互相等待。容器的宽限期必须覆盖应用停止接收流量、排空和最终资源关闭的时间预算,并为超时后的强制终止保留明确策略。
7. 回归测试
业务结果正确还不足以证明生命周期正确:任务可能已经返回结果,却仍留下线程或队列数据。测试应覆盖正常完成、超时取消、异常、拒绝和关闭过程中并发提交等路径,并检查:
- 执行器在限定时间内进入 terminated(已终止)状态。
- 不存在本测试创建的存活线程。
- 取消并完成收尾后,下游调用计数不再增长;同时检查已有调用是否仍未结束,避免仅凭计数判断停止。
- 队列中没有超过 Deadline 的任务。
- 异常和拒绝路径不会跳过资源释放。
- 关闭过程中并发提交新任务时,调用方能收到明确拒绝,而不是静默丢失任务。
- 虚拟线程任务未完成时触发进程退出,验证关键工作是否已持久化,或是否按业务约定允许丢弃。
这些是回归检查目标,本文未执行上述测试。并发测试方法见 A - Java 并发代码测试方法。
8. 总结
任务生命周期必须由创建、等待、取消、关闭和观测组成闭环。 排障时依次确认谁负责任务、停止请求是否到达执行位置,以及任务结束后是否释放了线程、队列引用和依赖资源。
shutdownNow()和cancel(true)都只是协作式停止请求,不能代替完成确认。- 队列中的任务可能保留远大于自身的对象图,内存排查需要追踪引用链。
- 优雅退出需要先停止生产,再排空或取消,最后关闭依赖资源。