外观
08 - JVM 调优:假设、有效配置与单变量实验
基线:HotSpot 17;JDK 8、分代 ZGC 和容器行为按具体 build 另核验。本文不给通用生产启动模板。
阅读指引
- 本文定位:工程闭环中的干预与验收,把故障证据转成有效配置、单变量实验、资源约束和回滚条件。
- 前置阅读:07 JVM 排障先建立证据,01明确内存预算,04解释 GC 证据;比较收集器时补 A。
- 后续阅读:10 JDK 迁移将配置与性能验证扩展到版本变更、灰度和回滚。
- 学习目标:能证明参数实际生效,保持负载与资源可比,用业务尾延迟、错误率和资源余量验收;GC 次数下降不是充分的成功条件。
摘要
提高最大堆容量、降低回收停顿目标、增加回收线程,分别可能推迟内存不足、增加回收频率或加重 CPU 竞争。调优先证明瓶颈,再核对参数实际生效,保持负载与资源条件可比较,最后以业务与资源指标验收,而不是看到 GC 次数下降就宣布成功。
先建立一个基本模型:业务代码产生对象,堆保存对象,垃圾回收(GC)回收不再需要的对象;这些工作与业务线程共享 CPU 和进程内存。堆容量决定对象可以占用多少空间,收集器决定怎样回收,参数则影响容量或回收策略。因此,一个参数改善了 GC 指标,也可能让进程占用更多内存,或让业务线程获得更少的 CPU 时间。
本文按“提出假设 → 核对有效配置 → 改变一个因素 → 验收与回滚”展开。有效配置是运行实例实际采用的值;单变量实验是一次只改变一个明确因素,使结果能够归因于这次改变。回滚则是在变更未达目标或超过资源约束时,恢复已验证的配置或产物。
1. 现象:GC 指标改善,业务可能更差
教学场景:堆扩大后,年轻代回收(Young GC)少了,但容器中的进程 RSS 峰值超预算;降低 MaxGCPauseMillis 后,单次停顿短了,但总 GC 工作和请求排队增加。RSS 是进程实际驻留在物理内存中的规模,包含堆以外的内存。较大的堆可能容纳更多分配,较小的停顿目标则可能让回收工作分成更多次完成,所以需要同时检查收益和代价。
先写清主目标、约束和退出阈值。例如,在指定请求到达速率下改善 P99,同时不提高错误率、不超过 CPU/RSS 和成本预算,并满足启动时间限制。P99 是第 99 百分位延迟,用于观察请求中的慢端;到达速率是单位时间进入系统的请求数,吞吐则是单位时间完成的工作量。少发请求也可能让延迟下降,不能把这种变化当成调优收益。
验收时,吞吐、GC 停顿(pause)、分配停滞(allocation stall)和端到端请求延迟要分别记录,并核对启动时间和成本是否满足约束。GC 停顿关注回收期间的暂停,分配停滞关注线程因无法及时获得分配空间而等待,端到端延迟还包含排队、执行及下游等待。它们解释不同问题,不能互相替代。
2. 原理:声明参数与有效配置不同
基础入口:看懂一条最小启动命令
bash
java -Xms64m -Xmx128m -Dapp.mode=local -jar app.jar这里假设已经有可运行的 app.jar,命令只用于说明语法,不是生产推荐。-Xms64m 设置初始堆大小相关配置,-Xmx128m 设置最大堆,m 是 JVM 大小参数的单位写法;-Dapp.mode=local 是应用可通过 System.getProperty("app.mode") 读取的属性;-jar 之后指定启动产物。JVM 参数要放在启动类或 jar 前面,后面的参数通常传给应用,而不是继续配置 JVM。
布尔型 HotSpot 选项常写成 -XX:+UseG1GC,负号表示关闭,例如 -XX:-UseTLAB;数值型常写成 -XX:MaxGCPauseMillis=200。先能解释每个参数的控制对象,再讨论是否需要配置它。默认值常由版本和资源探测决定,不显式设置不等于 JVM 没有策略。
2.1 核对最终生效的配置
参数分类速查如下。类别帮助理解语法,不能代替目标版本的支持核验:
| 写法 | 控制对象 | 示例与边界 |
|---|---|---|
| 常规启动选项 | 启动器行为、类路径等 | -version、-classpath;不是堆容量参数 |
-Dname=value | Java 系统属性 | 应用可读取,属性名存在不表示 JVM 或库一定使用它 |
-X... | JVM 实现相关选项 | -Xmx128m、-Xss1m,不能假定所有实现/版本行为相同 |
-XX:+Name / -XX:-Name | HotSpot 等实现的布尔选项 | 启用/关闭对应选项,不代表该能力在所有 build 中存在 |
-XX:Name=value | 实现选项的数值、大小或其他配置 | 按该选项的类型和单位解释,不能随意套用相同语法 |
HotSpot 还用 diagnostic(诊断)、experimental(实验)和 product(常规产品选项)等类别描述选项性质。部分诊断或实验选项需要先解锁,常规产品选项也可能随版本移除。这些类别不能直接当成变更风险等级;支持情况仍要查目标 JDK 的发行商和构建版本(vendor/build)。
下面前两条命令查看本地 JDK 版本和该次启动的最终参数;后两条查看正在运行的目标实例。PrintFlagsFinal 展示最终选项值,VM.command_line 展示启动命令,VM.flags -all 展示目标 JVM 的参数。PID 是占位符,需替换成已确认的进程编号;使用匹配目标 JDK 的 jcmd,并确认附加权限与目标命令支持情况。
bash
java -version
java -XX:+PrintFlagsFinal -version
jcmd PID VM.command_line
jcmd PID VM.flags -all同时检查容器镜像入口、环境变量注入(例如 JAVA_TOOL_OPTIONS)、启动脚本与重复参数。脚本里声明的值可能不是实例最终采用的值,因此要归档脱敏后的最终命令和实际参数。IgnoreUnrecognizedVMOptions 可能让不被识别的选项被忽略,从而掩盖失效配置,不宜作为迁移默认选项。
运行期只有部分标为 manageable(可管理)的选项可修改。不能把 jinfo 或管理工具的 vmoption 功能当成动态修改 Xmx 的保证;哪些选项可写,以目标帮助、API 和参数信息为依据。还要确认参数是否控制当前收集器:JVM 接受了一个选项,并不说明当前 GC 策略会使用它。
3. 实现边界:内存参数按预算选择
堆只是进程内存的一部分。平台线程需要栈,加载的类需要元空间,JIT(即时编译器)生成的机器码需要代码缓存,直接缓冲区和本地库也可能在堆外分配。只给 Xmx 留足空间,会遗漏这些开销;应先确定进程或容器总预算,再为各部分及峰值余量留出空间。
| 参数 | 作用与条件 | 取舍 |
|---|---|---|
| Xms / Xmx | 初始与最大堆范围,实际管理口径可能不同 | 相等可减少扩堆因素,但不普遍最优或立即全量 RSS |
| Xss | 平台线程栈相关大小,含 OS/build 边界 | 增大可能减少可建线程数;先证明递归深度合法 |
| MaxMetaspaceSize | 类元数据限制,不是全部 native 上限 | 小上限可能早失败;加大不修复 loader 保留 |
| MetaspaceSize | 初始元空间 GC 高水位/阈值相关,不是预分配这么多内存 | 避免把它等同 Xms |
| MaxDirectMemorySize | 部分直接缓冲分配额度 | 不限制全部 JNI/native malloc |
| ReservedCodeCacheSize | 代码缓存空间,可能分段 | 结合 05核对段容量、编译状态与预算 |
表中的 native 指 JVM 或本地库使用的堆外本地内存;loader 指类加载器,其保留关系可能使类元数据无法释放。增大容量上限可以缓解容量不足,却不能解除错误的引用保留。
oop 是 HotSpot 对普通对象引用的称呼,压缩 oop 用较紧凑的表示保存这类引用。对象头和压缩引用的实际模式受 GC、对象对齐和地址条件影响,不能拿“堆小于 32GB”作为总是启用压缩引用的充分条件。虚拟线程也不能按数量乘平台线程的 Xss 来估算内存。
AlwaysPreTouch 会预先触碰堆内存页,从而改变启动耗时和内存驻留成本,但不等于立即为所有本地内存分配物理页。大堆、容器和有启动时限要求的服务需要测量这项代价。UseLargePages、操作系统透明大页(THP)和系统配置也不是同一个开关,不能把固定 THP 策略当作跨内核的生产建议。内存口径见 01。
4. GC 参数:先选择机制,再选择控制量
基础速查:分代参数及适用范围
传统分代回收把堆分成年轻代和老年代:新对象通常先进入年轻代,经过回收仍存活的对象可能晋升到老年代。年轻代的常见布局包含 Eden 区和两个 Survivor 区,分别用于新对象分配和保存回收后存活的对象。这个模型有助于理解下面的比例与年龄参数,但不同收集器并不都采用相同布局。
旧系统常见以下参数。理解它们仍然必要,但不能当作所有 GC 通用的启动模板:
| 参数 | 主要控制含义 | 适用条件与风险 |
|---|---|---|
-Xmn | 显式设置年轻代大小相关配置 | 传统分代实现需核验;固定年轻代可能限制 G1 的停顿自适应,不是 ZGC 通用配置 |
-XX:NewRatio | 年轻代与老年代容量比例相关策略 | 依收集器和其他容量配置解释,不是所有堆必定按这个比例分区 |
-XX:SurvivorRatio | Eden 与单个 Survivor 区容量比例相关配置 | 传统布局下理解;有两个 Survivor 时不能只把比值理解成全部 Survivor 总量 |
-XX:MaxTenuringThreshold | 存活年龄晋升阈值的上限相关控制 | 实际晋升还受动态年龄、空间和大对象路径影响,不保证固定存活次数才晋升 |
例如传统布局下 SurvivorRatio=8 常用来理解 Eden:一个 Survivor 为 8:1,两个 Survivor 对应 8:1:1 的示意。它不是 G1 或所有 ZGC 模式必须采用的固定物理布局,实际容量和策略仍要查目标配置及日志。
4.1 G1
G1 把堆划分为多个 Region(区域),一次回收选择其中一组区域处理,称为回收集合(CSet)。它会根据运行情况调整回收工作量,以尽量接近停顿目标。因此,固定区域大小、年轻代容量或触发阈值,都可能改变其自适应空间。
下面的 humongous 指 G1 特殊处理的大对象;IHOP 是启动并发标记的堆占用阈值。并发标记需要时间,启动太晚时,对象增长可能在回收完成前耗尽余量。ergonomics 指 JVM 根据资源和运行条件自动选择配置的策略。
MaxGCPauseMillis是软目标,即策略尽量达到、但必要时可以偏离的目标,不是停顿硬上限。降低目标可能改变回收集合、年轻代容量和回收频率,需同时看总停顿、吞吐与分配情况。G1HeapRegionSize改变回收粒度和 humongous 对象门槛。“堆容量 / 2048”只能帮助理解某些自动配置策略,实际选择和范围要按构建版本核验,不宜盲目固定为8m。- G1 自适应 IHOP 会按历史标记时长和老年代增长调整阈值。
InitiatingHeapOccupancyPercent不代表始终在固定的 45% 占用率启动;调高阈值可能使回收启动太晚。 - 固定
Xmn/NewRatio可能限制 G1 对年轻代的自适应控制,不宜直接套用 Parallel 的 Eden/Survivor 比例配置。 ParallelGCThreads和ConcGCThreads分别涉及暂停期间与并发阶段的工作。增加线程不保证更快,CPU 配额紧张时还可能加重资源争用。
4.2 ZGC、Parallel 与版本
ZGC 的主要回收工作与应用并发执行,仍需要 CPU、内存带宽和分配余量。STW(Stop-The-World)指暂停应用线程;STW 很短,也不排除线程因分配空间不足而发生 allocation stall。SoftMaxHeapSize 是收集器尽量遵守的软堆目标,Xmx 是硬堆上限,两者都不是容器资源限制。ZGC 分代模式在 JDK 21 可选、23 默认、24 移除非分代模式;不能在 JDK 17 添加 ZGenerational,具体见 10。
Parallel 收集器可用于以吞吐为主的场景,但对象存活量较高时,仍要测试是否满足停顿预算,不能只因业务是批处理就选它。Shenandoah 的可用性和模式取决于发行版与版本。收集器机制与选型见 A。
5. 容器与失败策略:没有统一 75% 公式
容器限制的是资源使用,JVM 参数配置的是 JVM 内部容量或策略,两者需要分别核对。cgroup 是 Linux 对进程组进行资源控制与计账的机制,有 v1、v2 等版本;容器内存限制还要容纳堆外开销,不能直接等同于最大堆。
MaxRAMPercentage 参与 JVM 识别内存后的最大堆自动选择,不代表进程总内存会固定占用某个比例;显式 Xmx 与其他参数会影响最终配置。MinRAMPercentage 涉及小内存条件下的最大堆选择,名字中的 Min 不表示“最小堆百分比”;InitialRAMPercentage 也不是 RSS 下限。
核验时要记录 JDK 发行商、更新版本(update)、cgroup 版本、资源限制和 JVM 识别结果。JDK 8u191 之前的容器支持不能一概而论,JDK 17 的各个构建版本也不能视为行为完全一致。-XshowSettings:vm 可帮助查看估算堆大小,但不能独立证明每个 cgroup 控制器都已被正确识别。
ActiveProcessorCount 改变 JVM 对 CPU 数量的认知,不改变操作系统 CPU 配额(quota),也不保证所有框架线程池都自动相应调整。配额耗尽后的执行节流称为 throttling;增加 GC 线程不能突破这个限制,还可能与 JIT 和业务线程争用执行时间。应结合实际可用 CPU、节流和各类并发工作判断,见云原生 10。
失败策略决定内存不足时怎样留证、退出或恢复。Java 的 OutOfMemoryError(OOM)与容器被内核终止的 OOMKilled 路径不同,后者不保证 JVM 有机会生成转储。NMT(本地内存跟踪)和 JFR(Java Flight Recorder,运行事件记录器)用于观测,但也有开启条件和开销。
| 失败/观测配置 | 决策要求 |
|---|---|
| HeapDumpOnOutOfMemoryError / HeapDumpPath | 磁盘、权限、停顿与敏感数据预算;不会覆盖 cgroup OOMKilled 的全部路径 |
| ExitOnOutOfMemoryError | 可用性/重启循环、证据保存与外部副作用;是否覆盖目标失败类别按实现核验 |
| OnOutOfMemoryError | OOM 时资源已紧张,脚本/子进程可能失败;不能依赖复杂脚本必成功 |
| GC 日志轮转 | 有界磁盘、目录可写、实例唯一文件、时间对齐;日志仍可能泄露路径信息 |
| NMT/JFR | 启动条件与采样预算;关闭/开启改变观测成本,需记录 |
JDK 17 本地日志示例,不是整套生产模板:
bash
java -Xms64m -Xmx64m -XX:+UseG1GC "-Xlog:gc*,safepoint:file=gc.log:time,uptime,level,tags:filecount=3,filesize=10m" GcAllocationDemo 300需要先从 04保存并编译完整 GcAllocationDemo。JDK 8 不支持这组统一日志语法,使用该版本 help 和旧日志参数,不混用新旧选项;日志目录权限与轮转行为也应验收。
6. 进阶选读:固定工作量,只改变固定堆容量
第一次练习只需核对 java -version 和 PrintFlagsFinal,认识参数值与实际收集器。下面的多轮分配对照用于学习容量变化如何影响 GC,不是初学 JVM 参数必须完成的实验,更不能把其中两组小堆数值直接搬到业务服务。
本地 HotSpot 17,用 04完整程序,相同 300 批、G1、CPU 环境;两组各三次,分别更换日志文件名:
bash
javac GcAllocationDemo.java
java -Xms32m -Xmx32m -XX:+UseG1GC "-Xlog:gc=info:file=heap32-1.log:uptime,level,tags" GcAllocationDemo 300
java -Xms128m -Xmx128m -XX:+UseG1GC "-Xlog:gc=info:file=heap128-1.log:uptime,level,tags" GcAllocationDemo 300将两组分别换 -2/-3,交替顺序执行,降低顺序偏差。这里同时调整 Xms/Xmx 以固定组内堆容量,实验因素是“固定堆容量”;这不能独立区分初始扩堆策略与最大容量作用。
比较前先核对 runtime(运行时版本)、checksum(程序计算的校验值)与工作量,避免把运行条件不同的结果放在一起。日志只统计带持续时间的完整停顿汇总行(pause summary),不要把同一次回收的开始行和汇总行重复计数。比较停顿次数、总停顿、最大单次停顿、程序耗时和 GC 后占用,并记录失败或特殊回收原因。
这个程序不是服务负载,也没有预热隔离、CPU/RSS 或请求 P99 样本。它只能帮助观察固定工作量下的堆容量变化,不能据此给出通用 Xmx 建议。
6.1 服务调优放行表
| 步骤 | 输出 | 拒绝放行条件 |
|---|---|---|
| 假设 | 瓶颈、机制预测、可反证证据 | 只有“GC 多”或“内存大” |
| 基线 | 完整配置、同窗业务/资源指标、预热与负载 | 旧基线不可复现 |
| 干预 | 一个因素、灰度范围、预算/退出阈值 | 同时换 JDK、GC、堆和代码 |
| 验证 | 到达速率、吞吐、完成/错误/超时、尾延迟、GC 停顿、分配停滞、CPU/内存、成本、启动时间 | 少发请求或漏算超时导致假改善,或任一约束超限 |
| 回滚 | 可恢复配置/镜像、取消实验、数据兼容 | 不知道失效后怎样退回 |
| 固化 | 配置理由、版本边界、告警/容量模型 | 只留下无注释来源的参数集合 |
统计结果要覆盖多个可比较的时间窗口,并检查流量、缓存命中、对象分配和下游状态。预热是让编译、缓存等启动后状态逐步稳定;混杂变量是同时发生、也可能影响结果的其他因素,例如业务版本变化。若同时改了代码和堆容量,就难以判断收益来自哪一项。慢接口也可能来自网络、连接池或锁,应回 07验证相应分支。
7. 排障与工程取舍
- 回收后存活集(live set,即仍需保留的对象)持续增长:先核对业务容量和对象生命周期,证明是否存在错误保留;若存在,优先修复引用关系,避免仅靠加堆推迟失败。
- G1 对象搬迁失败(evacuation failure):查存活对象复制、晋升、humongous 对象和空间余量,再考虑策略;不能一律通过提高 IHOP 或固定年轻代处理。
- ZGC allocation stall:查分配与并发推进、CPU/空间,不套 G1 的 Region 调参。
- Native/OOMKilled:查 01预算和云原生 09,不是只改 Xmx。
- 编译队列/CodeCache:先查 05具体段和编译启停,别把所有首请求慢都当 GC。
- 观测引入的延迟:撤除高频增强或恢复日志配置后复测,Arthas 清理见 B。
阅读导航
若实验反驳了瓶颈假设,回到 07补充证据,而不是继续堆叠参数。若下一步涉及 JDK 版本变更,则进入 10,把配置支持、性能验证和迁移回滚一起纳入验收。
实验结果与参考资料
实验环境:Windows x64 10.0.26200、i7-10700(16 逻辑 CPU)、OpenJDK 17+35-2724,按正文参数固定 G1、300 批,交替运行两种固定堆容量。各次 checksum=-38400、retainedSlots=64,正常退出。日志仅统计含持续时间的完整 Pause 行:
| 固定堆 | 轮次 | 程序 elapsedMs | pause 条数 | 总 pause ms | 最大 pause ms |
|---|---|---|---|---|---|
| 32MiB | 1 | 544.327 | 447 | 196.795 | 2.857 |
| 128MiB | 1 | 341.601 | 73 | 49.595 | 2.055 |
| 128MiB | 2 | 350.350 | 73 | 54.544 | 1.572 |
| 32MiB | 2 | 541.618 | 437 | 188.949 | 1.715 |
| 32MiB | 3 | 519.294 | 425 | 183.113 | 1.755 |
| 128MiB | 3 | 359.512 | 73 | 51.409 | 1.847 |
这里只支持该有界分配程序、该机器和 build 下更大固定堆减少 pause 工作/次数的观察,不证明生产 P99 改善或容器预算合格;最大单次 pause 也没有简单单调规律。没有 CPU/RSS 采样、开放式请求负载或预热隔离,不将这些短跑作为生产容量推荐。
上述环境的 PrintFlagsFinal 中,JDK 17 的 G1UseAdaptiveIHOP=true;JDK 8/17 的 MaxRAMPercentage=25、MinRAMPercentage=50。这是所列 build 的 flags,不能代表所有发行版默认值,也不能证明 Windows 环境支持 cgroup。实验不覆盖 Linux 容器、Large Pages 或真实业务 SLA。
名词解释
| 名词 | 本文中的含义 |
|---|---|
| 有效配置 | 目标运行实例实际采用的参数与策略,而不是某份脚本里写过的值。 |
| Xms / Xmx | 初始与最大堆大小相关配置,不是进程总内存预算。 |
| 软目标 | 策略希望达到的目标,可以在必要条件下偏离,不是硬上限。 |
| 单变量实验 | 一次改变一个明确因素,并保持负载、环境与观测口径可比较。 |
| P99 | 第 99 百分位延迟;必须明确样本范围和超时处理,不能用平均耗时代替。 |
| 灰度与回滚 | 先在受控范围验证变更,超过预设阈值时退回已验证配置或产物。 |