外观
07 - JVM 排障:分诊、取证预算与因果验证
基线:HotSpot JDK 17 的 jcmd/JFR,JDK 8 工具另标。命令按目标 build 的 help 核对,不保证跨 JVM 通用。
阅读指引
- 本文定位:工程闭环的取证入口,先分诊,再选择工具与风险预算;不是命令大全,也不以工具运行成功作为归因完成。
- 前置阅读:按问题补足模型:内存读 01,GC 读 04,编译与 CPU 假设读 05;不要求先读完所有分支才开始分诊。
- 后续阅读:需要方法级动态观测时读 B Arthas;已有充分证据时可直接读 08 JVM 调优,不必先附加 Arthas。
- 学习目标:能明确失败边界、采集窗口、权限与停顿/磁盘预算,用线程、内存、JFR 和业务指标交叉反证假设。
摘要
CPU 高、堆未满却被杀、请求慢但没有死锁报告,可能来自不同层次的问题。排障应先明确哪里出了问题,再选择能回答该问题的证据,最后检查修复是否产生了预期变化。直接采集堆转储,既可能增加停顿,也可能无法解释 CPU 或外部等待。
可以先把 Java 服务看成三层:业务请求在排队、执行或等待;JVM 管理线程、对象、垃圾回收和编译;操作系统及容器提供 CPU、内存等资源。请求变慢是业务结果,线程栈是执行位置,资源指标是运行条件。把这些证据放到同一实例、同一时间窗口中,才能判断它们是否支持同一个原因。
1. 现象分诊:先识别哪个契约失败
这里的“契约”指服务需要满足的约束,例如请求按时完成、对象不超出约定生命周期、进程不超过内存限制。“分诊”就是先按症状选择调查分支,而不是立刻认定根因。GC 是垃圾回收;JIT 是将热点代码编译为机器码的即时编译器,两者也会消耗 CPU。
| 入口 | 先看 | 不应直接推断 |
|---|---|---|
| CPU 高 / 延迟高 | 同实例 CPU、到达速率、错误、quota、GC/编译 | RUNNABLE 就在耗 CPU |
| Java OOM | 完整错误类别、最早异常、分配/保留趋势 | 所有 OOM 都是 Heap 泄漏 |
| 容器 OOMKilled | cgroup/内核与平台事件、重启时间、limit | 137 单独证明 OOM,Java 一定能先 dump |
| 接口超时/卡住 | 入口排队、锁/初始化等待、下游与取消 | 一份线程栈就证明死锁 |
| native crash | hs_err、core、build/架构/native 库 | 按普通堆 OOM 处理 |
表中的 OOM 指内存不足,Java OOM 通常表现为 OutOfMemoryError;OOMKilled 则是容器进程被内核因内存压力终止,不能期待 JVM 一定有机会保存堆转储。quota 和 limit 分别指资源配额和限制;cgroup 是 Linux 对进程组实施资源控制与计账的机制。native crash 指本地代码或 JVM 等层面的崩溃,hs_err 是 JVM 致命错误日志,core 是用于离线分析的进程内存转储。
先记录服务、实例或容器、PID 命名空间、完整 JDK 发行商与构建版本(vendor/build)、应用发布版本、时区和时间、CPU/内存配额,以及症状发生的时间窗口。命名空间会影响工具看到的进程编号和文件系统。PID 是进程编号,可能被复用,不能拿昨天的 PID 对今天的进程发命令。
2. 取证预算:诊断也是对生产的干预
取证预算是为诊断动作限定次数、时长、CPU 开销、可接受停顿和文件大小,并约定何时停止。线程快照可能需要目标 JVM 响应,堆转储需要扫描对象并写文件;这些动作与业务争用资源,也可能改变待观察的现场。因此应从已有日志和指标开始,证据不足时再升级采集方式。
下表中的安全点(safepoint)是 JVM 协调线程以执行特定操作的机制;字节码增强是在运行时插入观测逻辑。Serviceability Agent(SA)是用于检查 JVM 内部状态的诊断工具,live 表示直接附加仍在运行的进程。
| 动作 | 风险 | 必要约束 |
|---|---|---|
| flags/version/现有日志 | 低相对风险,但可能泄露凭证 | 精确实例、脱敏、访问审计 |
| 有界线程 dump / 短 JFR | 响应/安全点与采样开销、文件数据 | 次数/时长、磁盘、CPU与退出阈值 |
| histogram / heap dump | 扫堆、可能请求 GC、停顿与大量磁盘 | 批准窗口、绝对路径、敏感数据隔离 |
| 字节码增强/表达式求值 | 改代码路径、类匹配过广、副作用 | 单实例/单类方法、观察与清理计划 |
| live Serviceability Agent | 挂起,分离时可能崩溃 | 不作常规生产模板,优先离线 core |
Oracle 17 文档将 GC.class_histogram/GC.heap_dump 标为高影响;换成 jcmd 并不让 dump 自动低风险。Heap dump 含业务数据/令牌,勿上传公开分析网站;加密保存、限制下载和保留期限。OOM 自动 dump 也不是所有服务“必须配”,需先证明磁盘、时延和数据处理可承受。
3. 实现:工具与 attach 的边界
基础入口:先认识工具,再选择命令
下面命令中的 PID 都需要替换成已确认的真实进程编号。JDK 工具位于对应安装目录的 bin 下,执行前先确认操作用户、目标实例和完整 JDK 版本。attach(附加)是工具连接目标 JVM、请求诊断信息的机制,不代表能够跨越权限或容器边界。
| 工具 | 主要回答的问题 | 入门观察 |
|---|---|---|
jps / 操作系统进程列表 | 正在运行哪些候选 Java 进程 | 名称只是线索,容器或权限下可能不完整 |
jcmd | 目标支持哪些诊断命令、配置与运行状态 | 先执行 jcmd PID help,再选低影响命令 |
jstat | 堆/GC 等计数随时间如何变化 | 读取多次快照;字段依版本和收集器解释 |
jstack / Thread.print | 线程此刻在执行或等待什么 | 线程名、状态、栈、锁;不是持续 CPU 采样 |
| JFR / JDK Mission Control | 一段时间内发生了哪些受记录的事件 | 先看录制范围,再看热点、锁与分配证据 |
| heap dump / Eclipse MAT | 哪些对象被谁保留 | 类型数量、支配关系和到根路径;需取证授权 |
线程转储(线程 dump)是线程执行状态快照;堆转储(heap dump)是对象及引用关系的快照;JFR(Java Flight Recorder)按配置记录一段时间内的运行事件与采样。三者分别适合看等待位置、对象保留关系和事件时间线,不能互相替代。JDK Mission Control 可分析 JFR,Eclipse MAT 可分析堆转储。VisualVM 等可视化工具也不是每个 JDK 安装必带,使用前核验来源和兼容性。
基础练习只需对第 7 节本地靶进程运行 jcmd PID VM.version 和 jcmd PID Thread.print -l:先找到 main 与 diagnostic-waiter,理解睡眠与等待,再继续 NMT/JFR。不要为了“学会工具”先在生产执行 heap dump。
3.1 核验支持与附加条件
优先匹配目标 JDK 的 jcmd,先查看支持和影响:
bash
jcmd -l
jcmd PID help
jcmd PID VM.version
jcmd PID help Thread.print
jcmd PID help GC.heap_dump容器内部的 PID 可能是 1,与宿主机编号不同。列表为空不证明没有 JVM。有效用户/组标识(UID/GID)、attach 是否禁用、PID/挂载命名空间、临时目录与安全策略均可能影响附加。kubectl debug 或复制 jcmd 不自动解决 ABI(程序与系统库之间的二进制接口)兼容性、权限、共享目录与命名空间问题;不要默认为诊断提升容器到特权模式。
jdk.attach.allowAttachSelf 主要针对自附加,不是给任意外部 attach 解锁的通用修复。失败先核对身份/namespace、目标状态、DisableAttachMechanism 与实际安全策略,不用暴露远程 JMX 绕过。
jstat 使用统计接口,字段随版本和收集器改变;旧 jmap -heap 与现代 SA 路径不能混用。JDK 8 的 jhat、VisualVM 和 JFR 是否可用涉及发行版与历史分发,不能假设所有 JDK 8 安装都包含它们。
3.2 先低影响、再专项目标
bash
jcmd PID VM.flags -all
jcmd PID GC.heap_info
jcmd PID Compiler.codecache
jcmd PID Compiler.queue
jcmd PID Thread.print -l
jstat -gcutil PID 1000 5这组命令分别观察有效参数、堆信息、代码缓存、编译队列和线程状态;jstat -gcutil PID 1000 5 以 1000 毫秒间隔读取 5 次堆/GC 统计,字段仍需按目标版本和收集器解释。不要不加选择地把整组命令当成每次故障的固定步骤。
上例线程 dump 只采集一次;需要趋势时,应按固定间隔有限次保存,并记录采集时间。参数及命令行信息可能含秘密,分享前先脱敏。GC.heap_info 与 jstat 不覆盖全部本地内存和容器计账,不能据此拼出精确的 RSS(进程实际驻留在物理内存中的规模)。
4. CPU、锁与等待的证据链
4.1 CPU:按时间与线程归因
可以按以下顺序排查。下表是 Linux 平台线程场景,Windows 或虚拟线程不要直接套用 OS 线程映射:
| 步骤 | 操作与证据 | 下一步判断 |
|---|---|---|
| 1. 确认实例与窗口 | 对齐 CPU、流量、错误率、发布和 CPU quota | 是业务负载增长、内部工作增加,还是配额受限 |
| 2. 找 OS 线程候选 | 获准后用 top -H -p PID 或有限 pidstat 采样 | 哪些线程持续消耗 CPU,而不只看线程名 |
| 3. 关联线程栈 | 对平台线程把 OS TID 转为十六进制,查 dump 的 nid | 是业务计算、自旋、GC/JIT 内部线程,还是当时已转入等待 |
| 4. 验证持续性 | 多次间隔快照或有界 profile,并检查同窗指标 | 同一热点是否持续,是否与延迟同窗变化 |
| 5. 干预与复测 | 修正有证据的计算/循环或资源约束,保持可比负载 | 热点、请求延迟和错误率是否改善,是否引入新瓶颈 |
例如十进制 OS TID 1234 对应十六进制 4d2,可查 nid=0x4d2;这只是标识转换示意,不是某次现场测量。dump 取样时该线程可能已切换执行位置,所以持续归因还要靠重复快照或 profile。
读线程栈时先从业务问题向下看,而不是搜索一个熟悉的类名就下结论。例如栈停在数据库驱动读取结果处,说明这次快照在相应调用路径中,却不能单凭它区分数据库执行慢、网络慢或结果消费慢。若多个间隔快照都停在同处,再结合连接池、数据库和请求指标,才形成更强证据。
锁等待也一样:worker-A 显示等待进入某个 monitor(对象监视器,synchronized 使用的互斥机制),需要继续找持有同一监视器的线程。如果持有者正在发网络请求,其他线程就可能被这次外部等待一起拖住,应优先调查为什么把网络调用放在临界区,也就是受锁保护的代码段。
OS TID 是操作系统线程编号,dump 中的 nid 可用于上述 Linux 平台线程关联。Java Thread ID、OS TID、Arthas thread ID 不能直接当成同一个数;虚拟线程也不能一对一映射到长期固定的载体线程,即实际承载它执行的操作系统线程。
profile 指在一段时间内采样并汇总执行情况。CPU profile 关注消耗 CPU 的执行路径,wall-clock profile 关注经过的时间,可能包含等待;因此两者的热点不能直接互换。连续快照为 RUNNABLE,且对应 OS 线程 CPU 高,才支持计算或自旋(循环尝试而不阻塞)候选;本地网络等待也可能显示为 RUNNABLE。GC/JIT 内部线程消耗的 CPU 不应硬映射成某条业务 Java 栈。
CPU 配额耗尽后,进程可能在当前配额周期内被限制执行,因而出现平均 CPU 不高却周期性超时的现象,见云原生 10;完整热点归因见并发 14。
4.2 锁环、长锁与池饥饿分别处理
线程状态的基础含义:RUNNABLE 表示在 JVM 意义上可运行或执行,不保证此刻占用 CPU;BLOCKED 通常表示等待进入对象监视器;WAITING 是无指定时限的等待;TIMED_WAITING 是带时限的等待,例如 sleep。线程池空闲线程等待任务很常见,要结合调用栈、持续时间与业务队列判断是否异常。
锁环是线程彼此等待对方持有的锁;长锁是持锁时间过长,等待者难以及时进入;池饥饿是工作线程被占满,排队任务得不到执行机会。三者都可能使请求卡住,但证据和处理方式不同。
- 对 BLOCKED,关联同一 monitor 的 owner(持锁线程)、等待者和调用栈,再查持锁者做了什么。某把锁的等待者最多,只能说明它是重要候选。
- WAITING/park 常涉及 AQS(构建锁等同步器的排队框架)、Future(异步计算结果)、队列或 join(等待线程结束),不能一概视为空闲。
- JVM 可检测部分监视器或 ownable synchronizer(可记录独占持有者的同步器)锁环,检测不到不代表没有活性故障,即任务无法继续推进。例如线程池的所有工作线程都在等待同池排队的子任务,子任务又没有空闲线程可执行,未必出现 Java 锁环报告。初始化等待或跨外部系统的等待环也需另外调查。
- 单次 dump 缺少持锁持续时间、样本间活动与请求关联;应结合重复快照、JFR 事件与队列指标验证。
锁竞争见并发 25,任务堆积见并发 15,虚拟线程使用并发 26的版本化证据,不按平台线程 nid SOP 硬套。
5. 内存与 GC:增长是线索,不是泄漏结论
先区分“对象还被引用”与“进程占用了多少内存”。堆分析回答哪些对象仍被保留;本地内存分析关注 JVM 和本地库等分配;操作系统及容器指标回答驻留和资源计账。堆未满不代表进程总内存未超限,内存增长也不自动等于泄漏。
5.1 堆对象:数量、支配和根路径
在获准的小进程/维护窗口才执行:
bash
jcmd PID GC.class_histogram -all
jcmd PID GC.heap_dump -all /absolute/private/heap.hprof这里 -all 包含不可达对象并避免该命令默认的 GC 请求,不意味着无停顿/无开销。JDK 17 GC.heap_dump 默认请求 Full GC,-all 是显式选择;若目标 help 不支持此选项,应停下重新评估,不能直接执行“相似命令”。live histogram/dump 也会改变现场。
MAT 的 histogram(类型直方图)汇总各类对象的数量和自身大小。shallow size 是对象自身占用;retained heap 是按支配关系计算的保留规模:如果从 GC Roots 到对象 B 的每条路径都必须经过 A,A 就支配 B。GC Roots 是可达性分析的起点,因此到根的引用路径可以解释对象为什么仍被保留。
先用 dominator tree(支配树)找主要保留者,再检查到根的引用链,区分强、弱、软引用。自动 Leak Suspects(泄漏疑点报告)只提供候选。缓存预热、流量增长或比较时的 GC 阶段不同,也会使回收后占用增加;要判断泄漏,必须证明保留超过业务约定的生命周期或容量。
| 分析步骤 | 要得到的证据 | 避免的误判 |
|---|---|---|
| 类型直方图 | 哪些类型数量多、总自身大小大 | byte[] 大不等于 byte[] 本身是根因 |
| 支配树 | 哪个容器、实例或加载器支配了大量对象 | shallow size 小的容器也可能保留很大的对象图 |
| 到 GC Roots 的路径 | 为什么对象还被保留,路径中有哪些引用强度 | 只看自动报告标题,不核对真实根路径 |
| 生命周期核对 | 队列、缓存、线程上下文是否超过约定容量或时间 | 把正常预热或合法长期对象直接判为泄漏 |
| 修复后趋势 | 相似负载、相应 GC 阶段下占用是否稳定 | “dump 成功”或“Full GC 后下降”就宣布修复 |
一个典型推导是 长期线程 → 上下文容器 → 请求对象 → 大数组:先证明请求本该结束却仍被线程保留,再修清理协议,而不是只缩小数组或增加堆容量。
5.2 native:NMT 与 OS 分开计账
NMT(Native Memory Tracking)是 HotSpot 的本地内存跟踪机制。summary 提供分类汇总,detail 提供更细的跟踪信息,需要在启动时开启,不能假设事后能从 off 升为完整跟踪。对已经开启的进程,先保存基线,经过明确的观察窗口后再查看变化:
bash
jcmd PID VM.native_memory baseline
jcmd PID VM.native_memory summary.diff scale=KBClass、Thread、Code、GC、Other 等分类依构建版本解释,直接内存不固定归入 Internal;NMT 也不追踪全部第三方本地分配。某类别上涨只能缩小调查范围,合法峰值或缓存也可能增长。
reserved 是保留的虚拟地址空间,committed 是已提交可供使用的内存口径,二者都不能直接等同 RSS。cgroup 的 memory.current/memory.stat 又属于容器计账口径。这些数字不能简单相加或相减后就判定泄漏,实验与预算见 01。容器内核杀进程证据见云原生 09。
5.3 GC:从阶段和同窗指标推导
先区分分配速率(allocation rate,单位时间产生的对象量)和存活集(live set,回收后仍需保留的对象)。分配快可能增加回收工作,存活集大则可能增加扫描、搬迁和空间需求,二者不能只用“GC 多”概括。
还要看对象搬迁所需的空间余量、并发回收消耗的 CPU,以及安全点的两段时间:线程到达协调状态的时间(reaching)和协调后执行工作的时间(work)。这些候选应与同一窗口的请求延迟、负载和资源指标对齐。GC 后占用不回落不能独立证明泄漏;Full、Major 和 ZGC 周期名称须按实际收集器及模式解释。机制见 04、A,参数干预见 08。
6. JFR:有界记录与可复核元数据
JFR 适合把一个时间窗口内的热点、等待和分配线索联系起来,但只记录配置启用的事件与采样。先确认要观察什么,再选择模板和时长;文件可解析只是录制成功的必要检查,还要确认记录覆盖了症状窗口及所需事件。
JDK 17、目标支持 JFR 的本地小进程:
bash
jcmd PID JFR.start name=incident settings=profile duration=10s filename=/absolute/private/incident.jfr
jcmd PID JFR.check
jfr summary /absolute/private/incident.jfrname=incident 为录制命名,settings=profile 选择观测模板,duration=10s 限定录制时长,filename 指定输出位置。示例中的绝对路径必须替换成目标 JVM 可写的私有目录;Windows 使用对应的绝对路径,不能照抄类 Unix 路径。
10 秒结束后才读取最终文件;长任务需明确核对结束状态和输出,必要时用匹配录制名称的 JFR.stop。profile 模板的事件与成本依 JDK 而变,低开销是相对描述,不承诺固定百分比。duration 只限制时间,还应按目标支持的 maxsize 配置及输出方式安排磁盘预算。
事件阈值与采样会漏掉未达阈值的短等待;没有事件不证明没有问题。录制包含堆栈/线程/路径等数据,仍需访问控制。8 的 JFR 可用性/选项依发行版与 update,不能直接复制 17 命令保证工作。
7. 验证:有界本地诊断靶进程
下面的本地程序保留 16 个数组,启动一个等待线程,主线程睡眠后释放等待者。CountDownLatch 是倒计数同步工具:初值为 1 时,await() 等待计数归零,countDown() 将计数减一。这样可以观察正常等待,而不刻意触发 OOM 或死锁。
保存为 DiagnosticTarget.java,兼容 JDK 8/17。资源规模有界,主线程正常睡眠约 20 秒;随后限时等待工作线程结束,实际进程时长还受启动和调度影响。守护线程(daemon)不会阻止其他非守护线程结束后的 JVM 退出,限时 join() 则限制主线程等待结束的时间。
java
import java.lang.management.ManagementFactory;
import java.util.concurrent.CountDownLatch;
public final class DiagnosticTarget {
private static final byte[][] retained = new byte[16][];
public static void main(String[] args) throws Exception {
for (int index = 0; index < retained.length; index++) {
retained[index] = new byte[256 * 1024];
retained[index][0] = (byte) index;
}
CountDownLatch release = new CountDownLatch(1);
Thread waiter = new Thread(() -> {
try {
release.await();
} catch (InterruptedException interrupted) {
Thread.currentThread().interrupt();
}
}, "diagnostic-waiter");
waiter.setDaemon(true);
waiter.start();
System.out.println("runtime=" + System.getProperty("java.runtime.version"));
System.out.println("process=" + ManagementFactory.getRuntimeMXBean().getName());
System.out.println("retainedPayloadBytes=" + 16 * 256 * 1024);
try {
Thread.sleep(20000);
} finally {
release.countDown();
waiter.join(2000);
}
if (waiter.isAlive()) {
throw new IllegalStateException("waiter did not stop");
}
System.out.println("completed");
}
}bash
javac DiagnosticTarget.java
java -Xms32m -Xmx64m -XX:NativeMemoryTracking=summary DiagnosticTarget在上述 HotSpot 环境中,从 process 字段识别 PID,并用进程列表确认目标;另一终端在存活窗口内检查 VM.version、Thread.print -l 和 NMT baseline/diff。JDK 17 可尽早启动 10 秒 JFR,使其在靶进程退出前完成,再确认文件可解析。
预期输出包括运行时版本、进程标识、retainedPayloadBytes=4194304,正常结束时输出 completed。数组载荷大小不包含对象头和引用数组等开销,不能当成总堆占用。等待期间,预期 diagnostic-waiter 等待 CountDownLatch,main 处于有限睡眠;这种 WAITING 不代表死锁。该示例用于检查工具链与资源关闭,不验证堆转储、SA 或生产观测开销。
8. SA 与工程闭环
Oracle 17 明确警告:jhsdb 附加 live 进程会挂起目标,分离后可能崩溃。--pid 不是离线诊断,不作为 attach 失败后的自动升级动作。优先对获准保存的 core、匹配 java 可执行文件/符号/库做离线分析:
bash
jhsdb jstack --core /private/core --exe /matching/jdk/bin/javacore 可能包含进程中的敏感内存;获取 core 本身也需批准与磁盘预算。离线分析需匹配出错进程的构建版本、架构、可执行文件和相关库;操作前应在隔离环境验证工具兼容性与恢复流程。
最后把每个候选写成“假设 → 支持与反证 → 干预 → 回退 → 验证窗口”。例如怀疑锁内网络调用拖慢请求,就应寻找同一锁的等待者、持锁者调用路径和对应下游延迟;若等待线程与这把锁无关,应转向其他分支。修复时保持负载可比,检查等待、请求延迟和错误率是否按预测变化。
保留诊断前后指标,确认 JFR 录制和临时后台任务已结束,字节码增强已清理、日志等级已恢复。命令执行成功不等于故障修复;Arthas 清理细节见 B。
阅读导航
需要动态方法观测时继续 B,先核对匹配、副作用和清理;已有足够线程/GC/JFR 证据时可直接到 08。Arthas 是可选工具,不是所有故障必经步骤;专题总导航按内存、执行与并发分支补前置。
实验结果与参考资料
实验环境:Windows x64 10.0.26200、i7-10700(16 逻辑 CPU),OpenJDK 17+35-2724 与 Oracle 1.8.0_191-b12 用各自 javac 编译并运行 DiagnosticTarget,均输出 retainedPayloadBytes=4194304、completed,正常退出。
两版 jcmd 的 VM.version、Thread.print -l、NMT baseline/summary.diff 均成功;线程栈观察到 diagnostic-waiter 在 CountDownLatch.await 等待。GC.heap_dump/GC.class_histogram 仅列出帮助信息中的行为与风险,不包含实际执行结果;17 help 明确标出高影响,以及 heap_dump 默认 GC 请求与 -all 的边界。
JFR.start 可能因临时目录权限报 Can't create Flight Recorder,即使 jcmd 返回 0,也不能仅凭退出码判断记录成功。应检查命令响应、文件是否生成,以及 jfr summary 是否可解析。上述 JDK 17 环境的一次 10 秒 profile 记录生成了 237994 字节文件,摘要为 Version 2.1、1 chunk、Duration 10 s;文件大小不是录制成功的固定标准。
上述结果不覆盖 JDK 8 JFR、heap dump、histogram、SA 或生产 profiling。官方风险等级不能代替目标服务的停顿、磁盘与观测开销预算。
名词解释
| 名词 | 本文中的含义 |
|---|---|
| PID / TID | 操作系统进程/线程标识,不能与各种 Java 或工具线程 ID 无条件互换。 |
| attach | 工具附加目标 JVM 的诊断机制,受权限、命名空间和运行配置约束。 |
| 线程 dump | 线程执行与等待状态快照,不是持续热点采样。 |
| heap dump | 用于分析对象及引用关系的堆快照,可能高影响并包含敏感数据。 |
| 支配关系 / retained heap | 对象图中的必经保留关系及其保留规模,不等于对象自身大小。 |
| JFR | Java Flight Recorder,按配置记录一段时间内的事件与采样信息。 |