外观
05 - JIT 执行:热点、假设与性能证据
基线:HotSpot JDK 8/17 的 server 模式与 C1/C2 分层编译。Graal、Native Image 和其他 JVM 的编译策略需分别讨论。
阅读指引
- 本文定位:执行链的优化环节,解释热点、OSR、内联假设与编译代码生命周期;不把一次短跑时间当成优化结论。
- 前置阅读:09 类文件与字节码解释调用点,02 对象创建与分配提供分配优化背景;类层次与初始化见 03。
- 后续阅读:07 JVM 排障结合同一时间窗口的编译日志、线程和 JFR 记录分析问题;有瓶颈证据后再读 08 JVM 调优。
- 学习目标:能区分普通编译、OSR、代码失效与反优化,不凭 not entrant 宣称反优化风暴;并发正确性与优化边界另见 06 并发底层。
摘要
同一段 Java 代码,为什么运行一段时间后可能变快?HotSpot 可以先解释执行字节码,再把值得优化的代码编译为机器码。编译有成本,优化还可能依赖运行中收集的信息,因此启动表现与稳定运行后的表现不同。本文先解释两种执行方式如何协作,再讨论内联、假设失效和运行中切换执行方式,最后通过有界程序与日志认识编译活动及其排障边界。
1. 现象:启动快不等于稳态快
教学场景:部署后首分钟尾延迟高,随后恢复。尾延迟关注较慢的一部分请求;稳态则指负载和运行状态相对稳定后的表现。服务能接收请求,不代表类初始化、连接建立、缓存填充和热点编译都已完成。应分别检查这些成本,以及 CPU 配额与业务流量的变化,不能仅凭编译活动解释全部抖动。
记录服务就绪(ready)时间、达到目标吞吐和延迟的时间、编译队列与编译线程 CPU 使用情况,同时记录请求错误和资源预算。预热的运行时类型、分支、输入与调用链应接近目标业务:若预热只覆盖一种类型或一条分支,编译器收集的信息就可能与真实请求不同。单纯调用某方法一万次不能保证预热充分;预热请求还应避免真实扣款、消息发送等外部副作用。
2. 原理:解释器不必逐条翻译新机器码
基础入口:从一次调用理解解释执行与编译执行
javac 的主要输出是 class 字节码,不是直接供当前 CPU 执行的业务机器码。HotSpot 可以先解释执行方法,同时记录调用频率、分支走向以及调用对象的类型;值得优化的方法再由即时编译器(JIT)生成机器码。后续适用调用可进入这份代码,因此同一段源码在启动初期和运行稳定后可能具有不同执行成本。
text
Java 源码 → javac → class 字节码
↓ 加载与链接
解释执行、记录运行信息
↓ 适用的热点编译
机器码进入 CodeCache → 后续调用使用例如 sum() 被反复调用,编译器可能把它的计算合入调用方,这种优化称为内联;合入后还有机会消除多余检查。第一次调用通常还混有类初始化、依赖连接等成本;“多调用几次更快”只能说明执行环境变化,不能仅靠耗时认定发生了哪一种优化。
先理解三个问题即可阅读后文:为什么值得付出编译成本?编译器从哪里知道常见路径?如果这个判断后来不成立,如何继续正确执行?热点探测、运行信息和反优化分别回答它们。
HotSpot 的模板解释器使用字节码对应的实现代码完成操作,并非每次都把每条字节码重新编译成机器码。即时编译器则为方法生成编译代码;HotSpot 用 nmethod 管理编译方法的代码及关联信息,并将其放入 CodeCache(代码缓存)。Java 语言规范不要求采用这种混合执行方式,这是 JVM 实现与工具链的选择。
| 模式 | 可用于什么 | 不能推断 |
|---|---|---|
| 默认混合 | 解释执行、收集运行信息与编译协作 | 所有方法最终都到 C2 |
-Xint | 解释执行对照,隔离部分编译因素 | 与生产负载成本完全可比 |
-Xcomp | 尽量提前编译的诊断模式 | 完全没有解释执行、反优化或编译失败 |
2.1 热点与队列
热点是值得投入编译成本的频繁执行代码。方法调用计数反映方法被调用得多不多;回边计数反映循环重复得多不多,回边就是控制流跳回循环前部的路径。因此,即使方法只调用一次,其中的长循环也可能成为热点。运行信息(profile)还包括分支走向、调用接收者类型等,帮助编译器选择优化路径。
计数、运行信息、方法大小、编译队列和编译策略共同影响编译决策。任务进入队列后,还要等待编译线程处理;达到阈值不意味着机器码立即可用。编译线程本身也消耗 CPU,会与业务线程和垃圾回收(GC)线程竞争资源。
默认分层模式使用与第 3、4 层相关的阈值和策略,不能把 CompileThreshold 理解为通用的“调用一万次就进入 C2”。禁用分层后仍需核对实际编译器和 JDK 构建版本(build);CompileThresholdScaling 等选项还会影响阈值,不能仅按 JDK 主版本套用固定次数。
2.2 分层不是强制 0→1→2→3→4
先认识两种常见编译器:C1 通常以较低编译成本较早产生代码,并在适用层级继续收集运行信息;C2 利用更多信息进行更深入优化,通常需要更多编译资源。解释器、C1、C2 协作的目标是兼顾启动成本和长期执行效率,不是越快到 C2 越好。
| 层级 | HotSpot C1/C2 常见含义 |
|---|---|
| 0 | 解释执行,可采集运行信息 |
| 1 | C1,不收集用于进一步优化的运行信息 |
| 2 | C1,收集有限运行信息 |
| 3 | C1,收集更完整运行信息 |
| 4 | C2 优化编译 |
text
解释执行/收集运行信息 → 适用的 C1 编译 → 适用的 C2 编译
↑ 可能跳级、停留或重新编译 ↓
└──────── 假设失效时按协议继续正确执行 ───────┘“分层”描述可用执行状态及策略,不是所有方法必须依次跑满五级。短命任务可能不值得付出最高优化成本,频繁调用但很小的方法也可能内联进别处,不能只搜索该方法是否单独出现 C2 就判断其未优化。
C2 的优化深度不保证每个方法实际更快,判断收益仍需比较相同负载下的执行表现与编译成本。JVMCI(JVM Compiler Interface)是 JVM 与编译器交互的接口;支持该接口不代表所用 JDK 一定内置可运行的 Graal,也不能仅凭“JDK 10 以后”就把开启 UseJVMCICompiler 当作通用迁移方案。
3. 实现:优化依赖上下文和可失效假设
3.1 内联与去虚化
“内联”可以理解为把被调用方法的计算并入调用方的编译过程。例如调用 add(left, right) 后,编译器有机会直接在调用方优化加法,不必保留一次独立的方法调用。“去虚化”则是把需要按运行时对象选择目标的方法调用,在有证明或检查保护的条件下变成更明确的目标;二者相关,但不是同一个动作。
假设某个接口调用点一直收到 Add 实例,编译器可能为这个常见类型优化,同时保留类型不匹配时的合法处理路径。后来来了 Subtract,不能继续无条件执行 Add 的行为;需要走检查后的其他路径,或使旧优化失效。性能优化可以改变执行方式,不能改变接口调用应有的结果。
内联的收益不只来自省去调用开销。被调用方法的字段访问、分支和对象分配进入同一个优化上下文后,编译器更容易发现常量、无用计算和可消除的分配。是否内联受字节码大小、热度、调用深度、类型信息和代码预算等因素影响;MaxInlineSize、FreqInlineSize 只是相关参数,不能据此只按字节数判断结果。
接收者是调用方法的那个对象,例如 operation.apply(...) 中的 operation。一个调用点观察到一种接收者类型,称为单态;观察到两种,称为双态。这描述的是运行情况,而不是接口声明本身。
基于运行信息作出的优化称为投机优化:编译器利用常见情况,但不能把它当作永远成立的事实。去虚化可以依赖类层次关系,也可以通过保护检查(guard)确认当前接收者类型。新类加载可能使相关依赖失效,新类型出现可能触发其他路径或反优化;影响范围取决于具体依赖,并非每次加载子类都会让所有编译代码失效。
3.2 消除分配和同步
常见优化可以先通过源码层面的直觉理解:
| 优化 | 简单例子 | 必须保留的边界 |
|---|---|---|
| 常量折叠 | 把可证明恒定的 3 * 4 合为 12 | 运行时会变的输入不能随意当常量 |
| 死代码消除 | 去掉没有可观察效果的无用计算 | 日志、外部写入和必要异常不能随意删除 |
| 范围检查消除 | 在能证明索引合法的循环里减少重复数组检查 | 非法索引的语义仍必须正确 |
| 锁消除 | 对能证明不会被其他线程共同访问的对象减少同步实现成本 | 必须证明不会破坏互斥和内存序 |
这些不是源码级改写承诺。编译器通常先将程序转换为便于分析和变换的内部结构,即中间表示(IR),再在其中完成优化。实际发生哪些优化取决于上下文,不能仅凭源码形式认定结果。
逃逸分析判断对象能否被方法或线程之外的代码访问;标量替换则在条件允许时用独立的值表示对象状态,从而省去实际分配,详见 02。对象是否逃逸需要分析,不能仅凭引用保存在局部变量中判断。
锁粗化尝试合并适用的相邻同步范围,以减少反复加锁、解锁的成本,但受循环、控制流、安全点和优化预算等限制。手动把任意循环内的同步块移到整个循环外,会改变其他线程可以参与的交错,未必等价,长临界区还可能扩大延迟。
这些优化以及空值检查消除,都必须保持必要异常和 Java 内存模型要求的行为。基准应消费计算结果,避免输入恒定导致目标工作被简化,并将预热与稳态测量分开,见算法 A。
3.3 OSR 与反优化不是同一方向
普通入口编译供方法后续调用使用,但长循环可能很久都不返回。OSR(On-Stack Replacement,栈上替换)让正在运行的方法在循环的适用位置切入编译版本,当前这次调用也有机会获得优化收益。切换需要衔接已有执行状态,不是改写 Java 源码。日志中的 % 标记 OSR 编译,@ 后的 BCI(Bytecode Index,字节码位置索引)指出对应位置;同一方法也可能另有普通入口编译。
反优化的方向相反:当编译代码的假设不再适用等情况发生时,JVM 将编译执行状态还原成解释器能够继续使用的状态。内联可能省去了独立的方法栈帧,标量替换可能省去了实际对象,因此恢复时可能需要重建内联帧,或把分散的值重新组成对象(物化)。后续是否重新编译由策略决定;并非所有异常都会触发反优化,也并非反优化后就永久解释执行。
made not entrant 表示代码不再作为新入口,可由层级替换、依赖失效等产生;它不独立证明正在发生一次反优化,更不证明“风暴”。made zombie 属于代码生命周期回收状态,不是业务线程死亡。
4. 进阶选读:观察编译与保持语义
这个例子同时包含预热、接口类型变化和编译日志,适合在理解前三节后阅读。第一次只用 javac JitExecutionDemo.java、java JitExecutionDemo 运行,认识三个阶段及计算结果;第二次才开启 PrintCompilation,只搜索 JitExecutionDemo::run。内联日志和 -Xint 是进一步对照,不需要一次掌握所有诊断参数。
保存 JitExecutionDemo.java,兼容 8/17;总工作量有界,所有阶段消费结果:
java
public final class JitExecutionDemo {
interface Operation {
int apply(int value);
}
static final class Add implements Operation {
public int apply(int value) {
return value + 1;
}
}
static final class Subtract implements Operation {
public int apply(int value) {
return value - 1;
}
}
private static volatile long sink;
static long run(Operation operation, int count) {
long total = 0;
for (int index = 0; index < count; index++) {
total += operation.apply(index & 1023);
}
return total;
}
public static void main(String[] args) {
Operation add = new Add();
long warm = 0;
for (int round = 0; round < 1000; round++) {
warm += run(add, 10000);
}
sink = warm;
System.out.println("phase=warm checksum=" + sink);
Operation subtract = new Subtract();
sink = run(subtract, 2000000);
System.out.println("phase=changed checksum=" + sink);
sink = run(add, 2000000);
System.out.println("phase=again checksum=" + sink);
}
}bash
javac JitExecutionDemo.java
java -Xms64m -Xmx64m -XX:+PrintCompilation -XX:+UnlockDiagnosticVMOptions -XX:+PrintInlining -XX:+PrintCodeCache JitExecutionDemo > jit-default.log 2>&1
java -Xms64m -Xmx64m -Xint JitExecutionDemo > jit-int.log 2>&1warm 阶段反复使用 Add,changed 阶段换成 Subtract,again 阶段再使用 Add;checksum 是各阶段计算结果的校验和。结果写入 volatile 字段并打印,让计算结果可被观察,但这仍是编译观察程序,不是严谨的性能基准。
查找 JitExecutionDemo::run、Add::apply、Subtract::apply 的编译层级、OSR 位置与内联理由,并核对三个阶段的校验和。类型切换可能改变保护检查或引发重编译,但不保证出现特定的假设失败事件(trap)。没有对应事件时,仅凭类型变化不能断定发生了反优化。
编译/应用 stdout 可能交错,按 phase 与方法名查找,不把某条日志紧邻输出视为严格因果。-XX:-BackgroundCompilation 可使实验更易观察,但会改变调度与延迟,不能拿来证明生产性能。
4.1 PrintCompilation 的读取边界
典型字段包含启动后毫秒、compile_id、属性、层级、方法和字节码大小。% 为 OSR,b 为阻塞式编译,s 为同步方法,! 表示含异常处理器而不是“这次抛异常了”。编译 ID 不是方法调用次数,字节码大小不是机器码大小。
内联日志只证明相应编译任务的决策,不证明所有后续调用都走同一版本。要比较稳态分配/延迟,还需匹配真正使用的 nmethod 和观察窗口。
5. CodeCache:满了不等于所有热点永久退回解释
CodeCache 位于 Java 堆之外,保存编译代码及其他运行时代码资源。机器码也要占空间:持续编译、内联和生成多个版本,都会带来代码缓存需求。JDK 9 的分段设计将它分为 non-method(非方法代码)、profiled(带运行信息采集的编译代码)和 non-profiled(不带此类采集的编译代码)代码堆。实际是否分段取决于配置与 ergonomics(JVM 根据环境选择默认配置的机制),默认总大小也不是所有构建版本都固定为 240MiB。
bash
jcmd PID Compiler.codecache
jcmd PID Compiler.queue
jcmd PID VM.flags -allPID 需替换为目标 Java 进程 ID。先以 jcmd PID help 核对目标支持,再检查各段容量、占用、历史占用峰值(max_used)、编译启停计数与队列。PrintCodeCache 常在进程退出时输出汇总,不是定时监控;本文程序用于观察正常容量,不刻意打满缓存。
在 HotSpot 17u 中,代码缓存满时可以停止接收新编译,已有有效代码仍可执行。启用相应清理机制后,sweeper(清理不再需要的编译代码的机制)实际释放空间,可以使编译重新开启。不过,空间碎片、某一段容量不足、持续代码需求或关闭代码缓存清理(flushing),都可能让恢复困难;工程上仍可能需要扩容或重启,不能保证自动恢复或固定恢复时限。
6. 排障与工程取舍
| 假设 | 支持/排除证据 | 干预与风险 |
|---|---|---|
| 启动编译 CPU 竞争 | 编译线程 CPU 使用、队列、CPU 配额与请求时间线 | 分开预热和流量爬坡;减少编译线程可能延后达到目标吞吐的时间 |
| CodeCache 某段不足 | 分段统计、编译停止/重启计数、清理与告警 | 核验代码增长来源与配置;扩大缓存增加本地内存预算 |
| 类型/依赖变化导致反优化 | 特定任务/事件、类加载时点、nmethod 生命周期 | 找反复失效原因,不按 not entrant 数直接报警 |
| 方法未优化 | 层级、内联理由、编译失败及输入 profile | 先确认是热点;盲提高内联预算可能膨胀代码 |
| 首请求慢但非 JIT | 初始化/连接/缓存/下游分段证据 | 回 03 和业务初始化链 |
JFR(Java Flight Recorder)用于记录运行时事件,其事件种类与编译日志选项需按目标构建版本核对。部分反优化细节只在诊断或 debug 构建选项中可见,不能保证所有产品 JVM 都支持。PrintAssembly 通常需要匹配的反汇编支持(如 hsdis)才能给出可读指令;本文实验结果不包含反汇编证据。
CPU 配额依据见云原生 10,业务启动分段见Spring 19,取证与参数变更见 07、08。启动归档、AOT 类加载与 native 编译的边界见 10。
阅读导航
执行链前置为 02 分配语义与 09 调用契约;自然下一步是 07,将编译/CPU/等待假设转成有预算的证据采集。已有可靠基线时再进入 08,不从编译日志直接跳到调参。
实验结果与参考资料
实验环境:Windows x64 10.0.26200、i7-10700(16 逻辑 CPU),使用 OpenJDK 17+35-2724 与 Oracle 1.8.0_191-b12 对应 javac 编译,默认日志模式与 -Xint 均正常退出,三个阶段 checksum 一致:
text
phase=warm checksum=5030920000
phase=changed checksum=1020942656
phase=again checksum=1024942656两版日志都观察到 run 的普通入口与 % OSR 编译、3/4 层级,以及 made not entrant;17 的部分编译日志与 phase 输出交错。类型切换附近出现了新的编译任务,但没有专门的 deoptimization 事件/机器码证据,不把相邻日志直接解释成完整反优化因果链。
17 退出汇总显示三个 CodeHeap、compilation enabled、stopped_count=0/restarted_count=0;8 为整体 CodeCache 汇总、compilation enabled。正常汇总不能证明满缓存后的自动恢复;恢复可能性依据 17u sweeper/CompileBroker 源码,不能当恢复时限保证。
实验覆盖编译、内联日志与解释模式对照,不覆盖 CodeCache 耗尽、JMH 基准、机器码分析或生产反优化压力。
- HotSpot 17 性能增强:分层、代码缓存、逃逸分析
- Java 17 命令:编译诊断选项
- JEP 197:分段 CodeCache
- OpenJDK 17u CompileBroker、sweeper(滚动分支,具体实验需固定 tag/build)
名词解释
| 名词 | 本文中的含义 |
|---|---|
| JIT | 运行过程中把适用字节码编译为机器码的即时编译机制。 |
| C1 / C2 | HotSpot 常见即时编译器,分别侧重较低编译成本和更深入优化,具体决策仍依运行信息。 |
| profile | 调用频率、类型和分支等运行信息,为编译决策提供输入;不是正确性证明。 |
| 内联 | 把被调用方法并入调用方的编译过程,以便进一步优化。 |
| OSR | 运行中的适用循环在对应位置进入编译版本,不必等到下次方法调用。 |
| 反优化 | 将编译执行状态还原成可继续正确执行的状态,可能重建内联帧或对象。 |
| nmethod | HotSpot 管理的编译方法代码及关联信息,不是 Java 源码方法本身。 |