外观
09 - Pod 被 OOMKilled,但 JVM 没有堆溢出:cgroup 内存控制原理
摘要
容器退出原因为 OOMKilled,Java 日志里却没有 OutOfMemoryError,Heap 使用率也只有 60%,为什么仍会被杀?关键是两者观察的范围不同:JVM 堆只是容器内存的一部分。本文先建立容器总内存的模型,再区分 JVM、容器和节点三个层面的内存不足,最后用 cgroup v2 指标、JVM 工具和最小容器实验串起排查证据。
1. 场景:Heap 还有空间,容器为什么被杀了
某 Java Pod 配置:
yaml
resources:
requests:
memory: 512Mi
limits:
memory: 1GiJVM 使用 -Xmx700m。监控显示 Heap 最高约 620 MB,但容器仍周期性重启:
text
lastState:
terminated:
reason: OOMKilled
exitCode: 137团队的第一反应是“JVM 指标不准”。但这两组信息并不矛盾:Heap(Java 堆)主要存放 Java 对象,-Xmx 只限制堆的最大容量;cgroup(control group,控制组)是 Linux 内核对一组进程进行资源计账和限制的机制,它控制的范围更大。这里的“计账”指内核把内存占用归入某个控制组,并据此判断是否触及限制。
Pod 是 Kubernetes 管理的一组容器。上述 resources 是容器级配置:内存 request 参与调度时的资源需求判断,limit 则用于限制容器内存。512Mi 并不是应用只能使用 512 MiB;1Gi 也不是 JVM 堆可以独占的空间。
text
容器内存 ≠ Java Heap堆之外还要考虑以下用途:
| 用途 | 为什么需要内存 |
|---|---|
| Metaspace(元空间) | 保存类元数据 |
| Code Cache(代码缓存) | 保存 JIT(即时编译器)生成的机器码 |
| 线程栈 | 保存方法调用帧等线程执行数据 |
| Direct Buffer(直接缓冲区) | 在 Java 堆外保存缓冲数据 |
| JVM、GC 与本地库 | 垃圾回收器的辅助结构,以及通过 JNI(Java 本地接口)调用的库等本地分配 |
| 文件映射和 Page Cache(页缓存) | 文件映射及内核缓存的文件数据,其中部分内存会计入控制组 |
这些是按用途划分的预算项,不是可以直接相加的内核统计字段。例如,堆、线程栈和不少本地分配都属于匿名内存,即不以普通文件作为后备存储的内存。因此,Heap 最高约 620 MB 只能说明观测到的堆占用,不能证明容器总量远离 1 GiB,也不能单凭这条曲线确定是哪一类内存触发了终止。
2. 三种经常混淆的 OOM
OOM 是 Out Of Memory(内存不足)的缩写。排查时先问“哪个范围无法满足内存需求”,再看是谁采取了终止动作。
2.1 Java Heap OOM
对象分配无法在 Heap 中获得空间,JVM 通常抛出:
text
java.lang.OutOfMemoryError: Java heap space进程是否退出取决于异常位置、应用处理和 JVM 参数。
2.2 cgroup OOM
当内存需求触及某个 cgroup 的硬上限,且回收等手段仍无法满足需求时,Kernel(Linux 内核)可能进入该控制组范围内的 OOM 处理,选择进程终止。它不是 JVM 抛出的异常,因此 Java 堆尚有空间时也可能发生,进程也可能来不及打印 Java 异常;Kubernetes 常显示 OOMKilled。
2.3 Node 全局 OOM
Node 是运行容器的工作节点。宿主机整体内存紧张时,Kernel OOM Killer(内核的内存不足终止机制)会在更大范围内选择进程终止。这与 Kubelet 基于内存压力的 Eviction(驱逐)也不同:Kubelet 是节点上协调容器运行的代理,驱逐是它主动释放节点资源的管理动作;Kernel OOM 则由内核处理无法满足的内存需求。不能把节点驱逐与容器触及自身 limit 混为一谈。
3. cgroup v2 如何控制内存
以下文件适用于启用了内存控制器的 cgroup v2 环境,cgroup v1 的接口不同。先看总量和上限,再看事件与组成:
| 文件 | 含义 |
|---|---|
memory.current | 当前计账内存 |
memory.max | 硬上限,max 表示不设该级上限 |
memory.high | 高水位,超过后可能触发回收和节流 |
memory.events | low、high、max、oom、oom_kill 等事件计数 |
memory.stat | anon、file、kernel、slab 等分类统计 |
memory.pressure | PSI(Pressure Stall Information,压力停顿信息),描述任务因内存压力而停顿的情况 |
memory.high 用于施加回收压力和节流,即让分配内存的任务放慢;它不等同于 OOM 硬上限。memory.max 是硬上限,但触及上限并不意味着每次都立即杀进程,还要看回收能否满足需求。
在目标 Linux 环境中,先查看当前进程所属控制组及挂载的文件系统类型,再结合挂载位置定位统计文件:
bash
cat /proc/self/cgroup
stat -fc %T /sys/fs/cgroup/proc/self/cgroup 描述读取它的进程所属控制组;stat 检查 /sys/fs/cgroup 的文件系统类型。在常见 v2 挂载下,后者预期显示 cgroup2fs。容器内是否能直接看到正确层级,取决于 cgroup Namespace(控制组路径的隔离视图)、运行时和挂载方式。生产诊断可从节点侧按容器 PID(进程编号)定位,或使用平台已暴露的指标。
3.1 内存计账不是一个简单 RSS 数字
RSS(Resident Set Size,常驻内存大小)描述进程当前驻留在物理内存中的页面。它与控制组计账的范围和口径不同,不能把单个 Java 进程的 RSS 直接当成 memory.current。下面按主要类别建立简化视图,图中的用途也不代表所有分配都能一一映射到统计字段:
图表将在阅读到此处时加载…
memory.stat 中的 anon 对应匿名内存,file 对应文件相关内存,kernel 对应内核内存,slab 是内核对象缓存相关统计。字段之间可能有包含关系,不应把所有字段机械相加。不同 Kernel 版本和配置的字段会变化,应以目标节点实际提供的统计为准。
4. JVM 为什么会感知容器
支持相应容器环境的 JDK 会读取资源限制,用于推导可用 CPU 数和堆的自动选参(Heap Ergonomics)等。但行为受 JDK 大版本、补丁版本、垃圾收集器、显式参数和 cgroup 版本影响。感知容器是为了帮助 JVM 选择参数,并不意味着它能把所有堆外分配都约束在剩余预算内。
在目标 JDK 环境中检查 JVM 的资源识别和参数结果;以下管道依赖 Bash 环境中的 grep。若要对照应用配置,检查时还需带上应用实际使用的 JVM 参数:
bash
java -XshowSettings:system -version
java -XX:+PrintFlagsFinal -version | grep -E 'MaxHeapSize|MaxRAMPercentage'不能因为“JDK 支持容器”就把 -Xmx 设成 limit 的 100%。Heap 之外必须留出 Native 预算。
4.1 一个可执行的预算模型
text
容器 limit
> Heap
+ Metaspace
+ Code Cache
+ 线程数 × 线程栈
+ Direct/Native Buffer
+ JVM 与 GC Native 结构
+ 应用本地库
+ 文件映射和可计账缓存
+ 安全余量这是预算清单,不是精确的计账等式,也不是固定比例公式。线程数乘以线程栈大小用于估算预算,不等于每个线程当前都已实际占满栈空间。Netty、压缩库、JNI、线程数和 GC 类型都会改变内存结构,需要用目标负载压测,并结合 cgroup 总量与 Native Memory Tracking 观察峰值和增长趋势。
5. NMT:观察 JVM Native Memory
NMT(Native Memory Tracking,本地内存跟踪)用于观察 JVM 跟踪到的内存分配类别。以下命令需要支持 NMT 的 JDK;app.jar 是实际应用包。启动时开启:
bash
java -XX:NativeMemoryTracking=summary -jar app.jar运行时将 PID 替换为目标 Java 进程编号。环境中需要有 jcmd,且执行用户能够连接目标 JVM:
bash
jcmd PID VM.native_memory summary scale=MBNMT 会带来一定开销,且不能覆盖所有非 JVM 管理的本地分配。开销大小依 JDK 和负载而异,生产启用前要评估。它适合回答 Heap 之外 JVM 自身主要把内存花在哪里,但不能替代 cgroup 总量和 Kernel 统计。
6. 最小实验:主动触发容器 OOM
只在测试集群执行:实验会主动耗尽容器内存并使进程被终止。需要可用的 Kubernetes 测试集群、kubectl、当前命名空间内创建和查看 Pod、读取日志、执行容器命令及删除 Pod 的权限,节点还需能拉取 python:3.13-slim 镜像。读取后面的 memory.* 文件需要 cgroup v2 及相应挂载。
将下面清单保存为 oom-demo.yaml。容器每次分配 8 MiB 的 bytearray,并把它放进 blocks 列表;列表一直保留这些对象,所以循环不会主动释放已分配的数据。restartPolicy: Never 便于观察这一次终止,而不是持续重启:
yaml
apiVersion: v1
kind: Pod
metadata:
name: oom-demo
spec:
restartPolicy: Never
containers:
- name: allocator
image: python:3.13-slim
command:
- python
- -c
- |
import time
blocks = []
while True:
blocks.append(bytearray(8 * 1024 * 1024))
print("allocated MiB=", len(blocks) * 8, flush=True)
time.sleep(0.2)
resources:
limits:
memory: 64Mi命令应分步执行;get -w 会持续观察状态,看到终止后用 Ctrl+C 退出观察,再查看详情和日志:
bash
kubectl apply -f oom-demo.yaml
kubectl get pod oom-demo -w
kubectl describe pod oom-demo
kubectl logs oom-demo预期现象:容器在内存需求无法满足时被终止,状态中可观察到 OOMKilled。日志里的 allocated MiB 只表示列表内数据块的累计大小,不包括解释器等其他开销;具体能分配到多少受解释器、镜像、Kernel 计账和采样时机影响,不能断言恰好 64 MiB。
如果容器仍短暂运行,可观察内部:
bash
kubectl exec oom-demo -- sh -c '
cat /sys/fs/cgroup/memory.current 2>/dev/null;
cat /sys/fs/cgroup/memory.max 2>/dev/null;
cat /sys/fs/cgroup/memory.events 2>/dev/null
'容器可能很快终止,导致 exec 来不及执行;这不代表没有发生 OOM。路径适用于常见 cgroup v2 挂载,不适用时应按环境定位。命令隐藏了文件读取错误,空输出也不能当作事件为零。清理:
bash
kubectl delete pod oom-demo --ignore-not-found7. QoS 与 OOM 风险
QoS(Quality of Service,服务质量等级)是 Kubernetes 根据 requests/limits 对 Pod 的分类,包括 Guaranteed、Burstable、BestEffort。它会影响节点资源压力下的管理和 OOM 分数,即内核选择终止对象时使用的相关优先级,但不改变容器必须遵守内存上限这一事实。因此 Guaranteed 也不保证永远不会被杀。
简化理解:
- Guaranteed:每个容器 CPU/内存 request 与 limit 完整且相等;
- BestEffort:未设置 CPU/内存 request 和 limit;
- 其他常见情况为 Burstable。
精确定义应以目标 Kubernetes 版本文档为准,特别是 Pod 级资源等新能力启用时。
8. 线上证据链
先确认终止原因和实际资源配置,再定位控制组,最后分析内存组成。以下 POD 是目标 Pod 名称;命令作用于当前命名空间,多容器 Pod 的日志需指定目标容器。--previous 查看上一轮容器日志,尚无上一轮实例时可能无法读取;kubectl top 需要集群提供相应的指标服务。
bash
kubectl get pod POD -o yaml
kubectl describe pod POD
kubectl logs POD --previous
kubectl top pod POD --containerskubectl top 是采样指标,可能错过瞬时峰值,也不保证与 cgroup OOM 时刻对齐。继续结合:
| 证据 | 回答的问题 |
|---|---|
Last State OOMKilled | 容器上一轮是否被判为 OOM |
memory.events | 故障窗口内 max、oom、oom_kill 等计数是否增加 |
memory.stat | anon、file、kernel 等组成 |
| JVM Heap/GC 指标 | Java 堆是否接近上限 |
| NMT | JVM Native 分类 |
线程数与 -Xss | 线程栈预算是否过大 |
| Node Condition/Kernel 日志 | 是否节点级内存压力或全局 OOM |
事件是累计计数,应比较同一控制组在故障窗口内的增量,并关联容器实例和时间线。max 增加不等于已经终止进程;oom_kill 增加也不能单独确定是当前这一层的上限触发了 OOM,还需检查控制组层级和内核日志。容器重启后看到的新实例指标,不能直接当作上一轮被杀时的现场。
确认是内存问题后,再根据 anon、file、kernel 的变化选择方向:堆增长结合 GC 指标,本地分配结合 NMT、线程数和本地库,文件相关增长则结合文件读写与映射行为。某一类持续增长只是定位线索,不能立即等同于泄漏。
9. 反例与正例
以下是预算对比片段,不是完整 Pod 清单:limits 应位于容器的 resources 下,env 则位于同一容器下。
反例:Heap 等于容器 limit
yaml
limits:
memory: 1Gi
env:
- name: JAVA_TOOL_OPTIONS
value: -Xmx1g正例:显式留出非堆预算并验证
yaml
limits:
memory: 1Gi
env:
- name: JAVA_TOOL_OPTIONS
value: >-
-Xmx650m
-XX:MaxDirectMemorySize=128m
-XX:NativeMemoryTracking=summary-Xmx650m 不是通用推荐值,只是展示预算思路。MaxDirectMemorySize 也不是所有本地内存的总上限,其他用途仍需单独留出空间。真实配置必须依据线程数、Direct Buffer、Metaspace、GC 和压测峰值确定。
10. 容易踩的坑
10.1 Heap 曲线不满就排除内存问题
cgroup 统计总内存,Heap 只是其中一部分。
10.2 只增加 limit
增大 limit 可以缓解有界的正常峰值,但若增长来自泄漏,它可能只延后下一次 OOM,并减少节点可容纳的工作负载。先确定内存组成及增长是否会稳定下来。
10.3 把 Page Cache 全当成可立即回收
回收需要时间和 I/O 条件,内存压力下可能造成明显延迟;计账细节依 Kernel。
10.4 只依赖分钟级监控
短时峰值能在下一次采样前触发 OOM,应保留 cgroup 事件和高分辨率指标。
10.5 看到 137 就认定 OOM
137 常与 SIGKILL(不可被进程捕获的强制终止信号)有关,但还可能来自终止宽限期耗尽或人工强杀。应交叉验证终止 Reason、cgroup 事件和节点日志,而不是只凭退出码定责。
11. 总结
容器 OOM 的边界是 cgroup 总内存,不是 JVM Heap;没有 Java OOM 日志并不能排除内存超限。
可以带走的三个核心要点:
- 容器内存还包括线程栈、Direct Buffer、Metaspace、Native 库和部分文件缓存。
memory.events、memory.stat与 JVM/NMT 指标要联合使用,单一 Heap 曲线无法定责。-Xmx必须给非堆内存和波动留预算,具体比例只能通过目标负载验证。
下一篇:CPU 利用率不高,接口为什么仍然超时:CPU Limit 与 Throttling。