外观
26 - 虚拟线程 Pinning 与载体线程饥饿排查
版本说明:JDK 21–23 中,在
synchronized内阻塞是常见 Pinning 来源;JDK 24 的 JEP 491 改进了该行为,使虚拟线程在多数 Monitor 场景可卸载。Native/Foreign 调用等剩余边界仍需按目标 JDK 验证。
摘要
迁移虚拟线程后,线程数很多,吞吐量却没有提高,问题可能出在哪里?先理解执行模型,再判断请求究竟卡在哪一层。这里描述的是排障场景,不是实测记录。
虚拟线程由 JVM 调度,实际执行代码时需要依托平台线程。承载它执行的平台线程称为载体线程(carrier thread)。虚拟线程与载体不是固定的一对一关系:在支持卸载的阻塞操作中,虚拟线程可以暂时离开载体,把载体让给其他已就绪的虚拟线程;等待结束后,再由调度器安排执行。这个暂时离开的过程称为卸载(unmount)。
如果虚拟线程阻塞时无法卸载,载体也会被占住,这就是本文关注的 Pinning(固定在载体上)。当足够多的载体长期无法腾出时,其他已就绪的虚拟线程就难以及时运行,形成载体线程饥饿。线程数量增加,并不意味着可用于执行的载体也同样充足。
排查先确认 JDK 版本,再区分三个方向:载体因 Pinning 无法腾出、CPU 已被计算任务占满,还是请求在等数据库连接等下游资源。
1. 不要把所有慢请求归因于 Pinning
Pinning 影响的是载体能否腾出,但请求也可能在其他位置排队。常见原因包括:
- 数据库或 HTTP 连接池已满;
- 下游本身变慢或限流;
- CPU 密集任务占满处理器;
- 长时间 Native/Foreign 调用占用载体线程;
- JDK 21–23 中 Monitor 内阻塞造成 Pinning;
- 应用显式限流、锁竞争或任务 Deadline 不合理。
Native 调用指进入本地代码;Foreign 调用通常指通过 Foreign Function and Memory API 调用外部函数。Monitor 是 synchronized 使用的监视器机制;受锁保护的代码段称为临界区。Deadline 是任务的截止时间,用来约束整个任务剩余的等待预算。
虚拟线程降低的是可卸载阻塞期间占用平台线程的成本,不增加数据库连接、CPU 或下游配额。例如,连接池已满时,即使等待连接的虚拟线程能够卸载,请求仍要等连接归还;此时增加虚拟线程不能扩大连接池的处理能力。
2. Pinning 的版本边界
能否卸载,取决于阻塞发生时的调用路径和 JDK 实现。因此,不能只看到阻塞调用或 synchronized,就断定它造成了载体线程饥饿;还要确认无法卸载的情况是否持续足够久、影响了多少载体。
JDK 21–23 中应重点检查 synchronized 临界区内的阻塞调用:持锁的虚拟线程无法卸载时,慢调用既延长持锁时间,也占住载体。JDK 24 起,JEP 491 消除了这一主要限制,因此不能继续机械地要求把所有 synchronized 改成 ReentrantLock。
替换锁类型还涉及可重入使用方式、Condition(条件等待)、诊断方式和异常安全代码的调整。即使两种锁都支持可重入,也不能只替换获取锁的语句:显式锁还需要保证异常路径正确解锁。是否迁移,应由目标版本和实际阻塞栈决定。
包含 Native 方法或 Foreign Function and Memory API 调用的栈仍可能具有不同卸载边界;具体表现依赖目标 JDK 和调用方式,无法从“使用虚拟线程”这一事实直接推断。
3. 收集证据
先保存 JDK 版本信息(java -version)、启动参数和采集配置,再把请求变慢的时间窗口与载体、锁和下游指标对齐。JFR(Java Flight Recorder)是 JVM 的事件录制工具,调用栈则用于追踪事件发生时经过的代码路径。
对 JDK 21–23,可结合目标版本支持的 JFR 虚拟线程事件和 -Djdk.tracePinnedThreads 诊断输出定位长时间 Pinning 栈。该系统属性更适合诊断环境,不应在未评估输出量时长期打开。找到栈后,还要检查慢调用是否反复出现,以及同期已就绪任务是否延迟运行;出现一次 Pinning 不能单独证明它是吞吐瓶颈。
JDK 24+ 仍要观察以下指标;JDK 21–23 排查时也应结合它们,避免只盯着 Pinning 输出:
- 虚拟线程提交到开始运行的延迟;
- 载体线程 CPU 与运行栈;
- 数据库、HTTP 连接池等待;
- Monitor/AQS 锁等待和临界区耗时;
- Native 调用持续时间;
- 请求 Deadline、取消和已过期任务数。
AQS(AbstractQueuedSynchronizer)是构建显式锁等同步器的基础框架。Monitor 与 AQS 等待应沿业务栈区分,不能把所有锁等待都当成 Pinning。
事件名称、默认阈值和可用字段可能随 JDK 版本变化,应按目标 JDK 核对。没有录到事件时,也应先检查录制配置和阈值,不能直接断定不存在相关阻塞。
3.1 线程 Dump 的使用边界
线程 Dump(线程转储)是采集瞬间线程状态和调用栈的快照。传统 jstack 输出面向平台线程,面对海量虚拟线程时不适合作为唯一入口。支持虚拟线程的现代 JDK 可使用 jcmd <pid> Thread.dump_to_file 将线程转储到文件,并按目标版本选择文本或 JSON 格式;<pid> 是目标 JVM 的进程 ID,具体参数必须以该 JDK 的 jcmd help Thread.dump_to_file 为准。
单份转储只能展示一个瞬间,不能直接说明某次调用持续了多久。应结合事件和请求指标判断持续时间,再用多份快照确认是否反复停留在同一路径。
不要在故障高峰反复把全部虚拟线程打印到标准日志。优先使用 JFR 聚合事件、请求级指标和文件化线程转储,再按任务名称、作用域和业务标签缩小范围。
4. 典型反例
下面是锁内执行 HTTP 调用的局部示意,假设 guard、httpClient 和 request 由应用提供。它不是完整的可运行示例,也不指定客户端 API:
java
synchronized (guard) {
return httpClient.send(request); // JDK 21–23 需重点检查
}这段代码需要区分两种影响:
- 业务锁竞争:网络 I/O(输入输出)结束前,锁不会释放,其他需要同一把锁的线程只能排队;即使虚拟线程能够卸载,这个问题仍然存在。
- 载体占用:在 JDK 21–23 中,锁内阻塞还需重点检查 Pinning;它可能进一步影响不竞争这把锁、但需要载体执行的其他虚拟线程。
因此,通常应重新划分共享状态的检查与更新步骤,把网络调用移出临界区,而不是只替换锁类型。移出调用前,要明确哪些状态必须一起更新,不能为了减少等待破坏状态一致性。
如果必须保证“同 Key 单飞”,即同一个业务键同时只发起一次加载,可在锁内登记“正在加载”的占位状态,锁外执行加载,再发布明确的成功或失败状态并唤醒等待者。还要处理超时与取消,避免加载已经结束或失败,等待者却一直等不到结果。
5. 载体线程饥饿与 CPU 饱和
Pinning 时,载体可能在等待外部操作,CPU 未必很高;CPU 饱和时,载体则可能一直在执行计算。两者都可能让已就绪任务迟迟无法运行,但修复方向不同。
CPU 密集任务即使运行在虚拟线程中,也需要真实处理器时间。大量不限制并发量的 CPU 任务会让载体持续运行计算,表现为高 CPU 和调度延迟,这不是 Pinning。
CPU 工作应限制同时执行的任务数,即使用有界并行度;阻塞 I/O 的并发度则由连接池、Semaphore(信号量,用许可数量限制并发)或下游配额约束。如果不限制任务数量,资源不足时仍会排队,只是排队位置可能从线程池转移到连接池或调度器。
不要先通过修改虚拟线程调度器并行度等内部调优参数“修复”问题。提高载体数量可能暂时缓解 Pinning,也可能增加 CPU 竞争和掩盖锁内慢调用。应先用证据确认载体为何无法推进,再决定是否需要版本升级、移出阻塞调用或隔离 Native 工作。
5.1 用症状矩阵缩小范围
| CPU | 连接池等待 | Pinning/载体证据 | 更可能的方向 |
|---|---|---|---|
| 高 | 低 | 无明显 Pinning | CPU 任务或忙循环 |
| 低 | 高 | 无明显 Pinning | 下游资源容量不足 |
| 低或中等 | 低 | 长时间载体占用 | Pinning、Native 调用或长临界区 |
| 高 | 高 | 混合 | 先建立时间线,可能是重试和排队共同放大 |
该表只用于缩小排查范围,不能替代栈、JFR 和下游指标。长时间载体占用也不自动等于 Pinning,长临界区是否阻止卸载仍需结合 JDK 版本和调用路径判断。混合症状应先对齐时间线,例如检查是否先出现下游变慢,再因重试增加任务量,最后同时放大 CPU 消耗与资源等待。
6. 修复与回归验证
按证据选择修复,再在可比环境下验证。P99 是请求耗时的第 99 百分位数,约 99% 的请求耗时不超过这个值;状态不变量是并发更新前后必须始终成立的约束,例如同一 Key 不能同时登记两个加载者。
- 在同一 JDK、同一负载下保留迁移前后的吞吐、P99、CPU 和资源等待;
- 将长 I/O 移出临界区,并重新验证状态不变量;
- 对 Native 调用设置并发上限,必要时隔离执行;
- 检查取消后底层调用是否真正停止;
- 升级 JDK 时重新验证 Pinning 事件和诊断规则,不沿用旧版本结论;
- 使用相同依赖版本验证平台线程与虚拟线程,避免把客户端升级收益误算成线程模型收益。
取消请求不等于底层调用已经停止,因此第 4 项应观察取消后的调用是否仍在执行、是否继续占用连接或载体。移出锁内 I/O 后,除了比较性能,还要覆盖加载失败、超时和取消路径,确认共享状态及等待者都能正确收尾。
以上是排查和回归验证建议,本文未执行这些命令或测试,也没有提供性能测量记录。JDK 版本边界、事件及诊断参数的具体行为,仍需在目标运行环境核验。
7. 总结
虚拟线程排障必须区分 Pinning、载体 CPU 饱和和下游资源不足。
- JDK 21–23 与 JDK 24+ 的 Monitor Pinning 行为不同。
- 锁内慢 I/O 即使不再 Pinning,仍会制造业务锁竞争。
- 版本、JFR、线程栈和下游容量必须组成同一条证据链。