外观
14 - Java 进程 CPU 飙高排查
适用环境:Linux + HotSpot JDK 8+。容器中的工具和 PID 视图可能与宿主机不同。
前置阅读:02 - Java 线程生命周期与正确中断方式。通用 JVM 诊断工具见 JVM 07 - 故障排查与监控工具。
摘要
Java 进程 CPU 持续升高时,先确认它在忙什么,再决定如何处理。重启会丢失线程栈等现场;如果业务允许,应先采集证据。排查路径是:确认 CPU 指标口径,找出消耗 CPU 的操作系统线程,关联 Java 调用栈,再用连续采样判断原因。
先建立基本模型:进程是应用的运行实例,PID 是进程标识;操作系统调度线程执行指令,TID 是操作系统线程标识。CPU 使用率反映采样时间内处理器的忙碌程度,线程处于等待状态时,请求可以很慢,却未必消耗很多 CPU。因此,“CPU 高”和“请求慢”需要不同的证据。
对于 HotSpot 平台线程,线程 Dump(线程状态与调用栈快照)中的 nid 是关联本地线程的标识,通常以十六进制显示。将同一 PID 视图中的 OS TID 转为十六进制,就能查找对应栈。它不是 Java API 中的线程 ID;虚拟线程也不长期与一个 OS 线程一一绑定,不能直接套用这条映射来定位某个虚拟线程。
1. 标准排查流程
图表将在阅读到此处时加载…
下面是 Linux 下的操作示例。将 <pid> 替换为实际 Java PID;尖括号是占位符,不能原样输入。需要环境中已有 top、jcmd,并具备向目标 JVM 附加诊断工具的权限。top 是交互式查看,记录高 CPU 线程后退出,再执行后续命令;输出目录需可写,两个重定向会覆盖同名文件。
bash
top -H -p <pid>
# 假设高 CPU 线程十进制 ID 是 12345
printf '%x\n' 12345
jcmd <pid> Thread.print > thread-1.txt
sleep 5
jcmd <pid> Thread.print > thread-2.txt示例中的十进制 12345 对应十六进制 3039,因此预期可在对应平台线程条目中查找 nid=0x3039。这只是编号转换示例,不是实际故障输出。两份文件间隔 5 秒用于演示连续采样,实际次数和间隔应结合故障持续时间与采集开销选择。
采集时要把 CPU 观测与 Dump 对齐:记录日期时间及时区、机器或容器、PID namespace(决定进程编号可见范围的命名空间)、Java PID、OS TID、当时 CPU 值和对应文件。多实例或容器环境中,若混用宿主机与容器的编号,就可能把一个实例的高 CPU 线程关联到另一个实例的栈。完整采集信息见第 4.2 节。
2. 为什么要多次采样
一次栈只能说明线程在某一瞬间执行或等待到哪里,不能说明它在这里累计消耗了多少 CPU。若同一线程在观测期间持续高 CPU,且多份栈反复出现同一段计算或循环,才有较强证据将该代码列为热点候选。栈相同但 CPU 很低,也可能只是一直在等待。
常见候选原因及其消耗 CPU 的方式:
- 忙循环:持续检查条件或重复执行,缺少有效退出、阻塞或退让。
- 正则表达式灾难性回溯:某些模式遇到特定输入时,匹配过程反复尝试大量路径。
- 大对象序列化、压缩或加密:数据转换和计算本身占用 CPU,需结合数据量与调用频率判断是否异常。
- 高竞争 CAS 自旋:CAS(比较并交换)更新失败后反复重试,竞争越激烈,重试计算可能越多。
- 频繁 GC:GC(垃圾回收)处理对象分配与回收,需结合 GC 日志判断其 CPU 成本。
- 大量线程上下文切换:操作系统频繁保存和恢复线程执行状态,调度开销可能增加。
连续 Dump 更容易捕捉持续停留的栈。若热点分散在大量短方法中,或开销来自频繁分配、JIT(即时编译,将热点代码编译为机器码),快照可能遗漏关键活动。此时需使用 JFR 或采样 profiler(性能分析器)观察一段时间内的活动分布;不能因栈每次不同就排除 CPU 热点。
3. RUNNABLE 不等于高 CPU
RUNNABLE 是 Java 线程状态,不是 CPU 使用率。线程 Dump 中的 RUNNABLE 可能包括等待 Native I/O(本地代码中的输入输出操作)的线程,不能据此断定它正在持续计算。先从 OS 层确认线程 CPU 消耗,再关联栈,可以避免把正常 I/O 等待误判为热点。
锁竞争也要区分:等待锁的线程可能不消耗很多 CPU,反复自旋重试的线程则可能持续消耗 CPU。需要把线程状态、CPU 观测和锁相关证据放在一起判断。
4. Arthas、JFR 与 async-profiler
Arthas 是可附加到运行中 Java 进程的诊断工具。下面的命令应在已连接目标 JVM 的 Arthas 控制台中执行,用于查看 CPU 使用较高的线程;它不是 Linux Shell 内置命令。
bash
thread -n 5JFR(Java Flight Recorder)记录 JVM 运行期间的事件,适合关联 CPU、锁、对象分配和 GC 活动。其可用性、事件种类及配置依赖 JDK 发行版和版本;本文的 JDK 8+ 基线不代表所有环境都提供相同 JFR 能力,虚拟线程事件尤其要按目标版本确认。“较低开销”也需要结合录制配置与实际负载评估。
async-profiler 是采样性能分析器,可生成 CPU 火焰图,并减少只依赖安全点采样带来的偏差。安全点是 JVM 协调某些运行时操作的位置;若采样只能在这些位置发生,结果可能偏向更容易被采到的代码。使用前仍需核对工具版本、事件支持和 Native(本地代码)及 JIT 栈的解析情况。
三类证据回答的问题不同:
| 证据 | 更擅长回答 | 主要局限 |
|---|---|---|
| 连续 Thread Dump | 哪些线程持续停留在相同栈、等待什么 | 瞬时采样,短热点容易遗漏 |
| JFR | 一段时间内 CPU、分配、锁、GC 等事件如何关联 | 事件阈值和录制配置影响可见性 |
| async-profiler | CPU、Wall-clock 或分配热点的统计分布 | 需要正确选择事件并解释 Native/JIT 栈 |
这些工具不是每次都要全部开启。持续的单线程热点可先用 OS TID 与连续 Dump 缩小范围;需要统计分布或事件关联时,再选择相应工具,并与同期请求延迟、发布事件及容器 CPU 指标对齐。
4.1 CPU 火焰图与 Wall-clock 火焰图
火焰图将采样栈按调用关系聚合,横向宽度表示样本占比,不是按从左到右排列的时间线。读图前先确认采样事件,因为同样的宽度可以代表不同含义。
CPU 火焰图突出消耗处理器的栈,适合计算、自旋、序列化和 GC 相关问题。Wall-clock 指实际经过的时间,这类采样会包含阻塞和等待,更适合观察慢 I/O 与锁等待。线程池排队还需结合任务排队时间:尚未被工作线程取出的任务不会直接表现为该任务的执行栈,不能仅靠宽栈判断队列积压。
看到某方法在 Wall-clock 图中很宽时,应继续判断它是在运行、等待锁还是等待 I/O,不能直接按 CPU 热点优化。
4.2 保留可复核元数据
诊断文件至少关联:
java -version与完整启动参数;- PID、OS TID、PID namespace、容器 ID;使用 Kubernetes 时再记录 Pod(应用实例的部署单元)和所在节点;
- 采集起止时间及时区;
- profiler/JFR 配置与事件类型;
- 同期流量、错误率、GC 和 CPU throttling 指标。
这些元数据用于确认文件来自哪个实例、覆盖哪个时间窗口以及启用了哪些事件。缺少它们,就难以判断“没有看到热点”是问题已消失,还是采集对象或配置不匹配。
生产使用前应验证工具版本、权限、容器限制和采样开销。
| 现象 | 优先证据 | 常见下一步 |
|---|---|---|
| 单个业务线程持续高 CPU | OS TID + 多份重复栈 | 检查循环、算法、正则、序列化 |
| 多个线程分散消耗 CPU | CPU 火焰图 | 查找共同热点或任务放大 |
| GC 线程 CPU 高 | GC 日志 + JFR 分配视图 | 检查分配速率、存活集和堆容量 |
| CAS/锁竞争 | profiler + JFR 锁事件 | 区分自旋热点与阻塞等待;锁事件不能直接覆盖所有 CAS 重试 |
| CPU 不高但延迟周期性尖刺 | cgroup cpu.stat | 检查 CPU throttling |
5. 容器环境
- 容器内 PID 可能与宿主机不同:先确认观测工具和 JVM 所在的 PID 视图,再做 TID 映射。
- CPU 100% 可能表示用满 1 核,而不是整机所有 CPU:先确认监控指标的分母。
- CPU limit(容器 CPU 使用上限)可导致 throttling(配额耗尽后暂时限制 CPU 调度):即使平均使用率不高,短时间内耗尽配额也可能增加延迟。
- 精简 JRE(Java 运行环境)镜像可能没有
jcmd:可评估调试容器或 JDK 工具镜像,但仍需确认工具与目标 JVM 的版本、权限及附加条件。
不同监控系统可能按单核、request(申请的 CPU 资源)、limit 或节点总核数展示百分比,同一个数值不能跨口径直接比较。若怀疑 CFS quota(Linux 公平调度机制的 CPU 时间配额)导致延迟,应结合 cgroup(Linux 资源控制组)的 cpu.stat 等指标分析,转到 云原生 10 - CPU Limit 与 Throttling。
6. 止损和恢复验证
如果必须重启或摘除实例,应先保存必要现场,再进行小范围止损。CPU 下降也可能只是流量下降或请求被拒绝,不能单独证明修复有效。应在可比负载下检查:
- 业务吞吐(单位时间完成的请求数)与 P99(99% 请求耗时不超过的值)恢复;
- 队列和过期任务已清理;
- 下游错误率和重试流量没有反弹;
- 新版本的热点栈确已消失,而不是转移到另一个方法。
7. 容易踩的坑
- CPU 高时立即重启,没有保留现场。
- 只采一份 Thread Dump。
- 将十进制 TID 直接当成十六进制
nid搜索,或混用不同 PID 视图的编号。 - 忽略 GC 线程、JIT 编译线程和容器 CPU throttling。
- 在高负载生产环境盲目开启高开销跟踪。
8. 总结
CPU 飙高排查的关键是建立 OS 线程与 Java 调用栈的证据链,再用持续采样验证。
先确认指标口径和实例,再把高 CPU 的 OS 线程关联到平台线程栈。连续快照提供热点候选,JFR 或 profiler 按需补充时间分布与事件关联;最终还需在可比负载下检查业务是否恢复。
本文命令与诊断路径仅经静态审阅,未执行采样,也未独立核验工具版本文档;没有提供历史实测记录。实际使用时需按目标 Linux、JDK 发行版、工具版本和容器配置验证。
对比排查:CPU 不高但请求因锁排队出现长尾时,转到 25 - Java 锁竞争与长尾延迟排查;执行器排队见 15 - 线程池任务堆积与接口超时。