外观
09 - 内存看起来还够,进程为什么被杀:回收、Swap、预算与 OOM
摘要
主机还有可用内存,容器却因内存不足被终止;CPU 不高,接口仍可能因内存压力变慢。理解这两种现象,需要分清三个问题:页面内容能否移走,移走后再次访问要付出什么代价,服务受哪一层内存预算约束。本文先建立这个模型,再解释回收、Swap 和 OOM 的不同路径,最后用只读检查与预算示例说明如何定位问题。
阅读指引
- 前置阅读:虚拟内存口径、缺页与映射。先区分地址范围、驻留、共享与页面准备。
- 本文定位:Linux 内存管理的基础机制与诊断框架;容器平台状态及 JVM 参数分别在跨专题文章展开,不把所有内存故障都称为 Java 堆溢出。
- 适用范围:主要讨论 Linux;控制组(cgroup)示例采用 v2。挂载、命名空间(namespace)、内核与运行时会影响能看到的资源层级,v1 的文件名与语义不能直接套用。
- 示例边界:命令只读取状态,Python 示例只计算预算,不用于制造 OOM。排查时不要通过耗尽内存、关闭 Swap、写入
drop_caches或降低线上限额来验证猜测;归因需要目标实例在故障时间窗口内的证据。
1. 场景:主机内存充足,为什么这个服务仍失败
设想一个服务重启后,平台显示 OOMKilled,即进程因内存不足被终止的状态。监控上的 Java 堆还没到上限,主机 free 也看起来有余量。这时继续增大 -Xmx(Java 堆的最大容量)未必有用:如果限制的是整个容器,堆扩大反而会挤占线程栈、本地内存等其他开销的空间。
另一个场景没有进程终止:内存增长到某个区间后,接口持续变慢,CPU 也没有打满。可能是频繁回收和换入,也可能是应用自身的垃圾收集(GC)或外部等待,不能用“没有 OOM”排除内存压力。OOM 是 Out of Memory 的缩写,表示对应范围无法满足内存需求。
先分三层:
- 需求层:应用对象、线程栈、本地内存(native,通常由本地库或运行时在 Java 堆外管理)、缓存、文件访问分别需要什么。
- 管理层:页面能否回收、是否发生换出换入、等待了多久。
- 约束层:主机资源、cgroup 层级、进程限额及运行时上限允许多少。
某一层有余量,不保证另一层也有余量;内存压力也可以先表现为延迟,而不是立即终止。
2. 回收全景:哪些内存可以让出,代价是什么
操作系统按页管理内存。页面驻留,指它的内容当前在物理内存中;回收(Reclaim)要让其中一些物理页面可以被重新使用。核心问题是:有效内容移走后,还能从哪里恢复? 文件内容可以从文件重新读取,匿名内存中的有效内容则不能凭空重建。
页缓存(Page Cache)是内核缓存文件数据的内存;匿名页不以普通文件作为内容来源,堆、栈和部分匿名映射属于这一类。后备指页面移出物理内存后,用来保存或重新取得内容的来源。回收因此不同于应用释放对象,也不同于垃圾收集器判断 Java 对象是否仍可达。
| 类别 | 常见内容 | 可回收路径与限制 |
|---|---|---|
| 文件缓存中的干净页 | 已有稳定文件后备的数据 | 可在适用条件下丢弃驻留内容,后续访问再取回 |
| 文件缓存中的脏页 | 修改尚未完成相应回写的数据 | 通常要先按协议处理回写,不能当作随时免费丢弃 |
| 普通匿名页 | 堆、栈和部分匿名映射内容 | 有合适 Swap 等后备时可换出;不能无条件丢失有效内容 |
| 可回收内核缓存 | 部分目录、inode 等元数据缓存 | 可由相应回收机制处理,不等于所有内核内存都可丢弃 |
| 被锁定或固定使用的页等 | 锁页、设备或特定内核资源 | 可能不适用普通回收,需使用者释放或特殊机制 |
| 运行时仍保留的内存池 | 分配器或 GC 管理的区域 | 对象释放不保证立即解除映射或归还页面 |
干净页(Clean)没有尚需回写的修改;脏页(Dirty)有修改需要按相应规则写回后备。干净、脏描述的是修改状态,不是数据质量。脏文件页中的修改仍在内存中,不能据此认为文件已经持久化;回写与 fsync进一步解释同步与持久化边界。表中的 inode 是文件系统记录文件元数据的对象。
2.1 “缓存可回收”不等于“缓存不占预算”
文件缓存可能计入 cgroup 内存使用,也可能是重要的工作集。Working Set,即工作集,是一段时间内任务实际反复需要的数据范围,具体测量口径依工具。
把缓存回收掉后,未来访问可能再次缺页或读取后备数据。若工作集持续大于可用预算,回收和再加载会反复发生,称为 Thrashing,即颠簸或反复换入换出的无效忙碌。
因此,看到文件类内存计账(如 memory.stat 的 file)时,不能直接把它从预算中扣掉。需要同时看它是否容易回收、是否还在被频繁访问,以及重新读取的成本。
2.2 回收谁:冷热、后备内容与页面状态一起决定
LRU(Least Recently Used,最近最少使用)是一类根据访问历史优先淘汰较冷数据的思路。教材常给出理想页面置换算法,但实际内核不能免费记录每次访问并预知下一次需求,还必须判断页是否可释放、有何后备、是否脏或被固定。
| 教学思路或实现机制 | 核心直觉 | 工程边界 |
|---|---|---|
| FIFO,先进先出 | 优先淘汰更早进入的页面 | 早进入的页面可能仍很热,不能只看年龄 |
| 理想 LRU | 优先淘汰最近最久未使用的页 | 精确追踪每次访问有成本,不能把教材链表当内核统一实现 |
| active/inactive 等组织 | 利用访问状态区分较活跃与较冷的候选 | 列表位置不是“百分之百马上可回收”,还要检查页状态 |
| Multi-Gen LRU,多代回收 | 用多代访问历史等信息组织冷热判断 | 依内核配置与运行时启用情况,不假定所有系统采用同一策略 |
这里的“热”指近期较频繁访问,“冷”指近期较少访问。active/inactive 是按访问状态组织活跃和不活跃候选页面的方式。访问历史帮助选候选,页面状态决定候选能否释放以及怎样释放;选中了冷页,也仍要检查后备、脏状态和是否被固定使用。
另一个常混淆的机制是 Compaction(内存规整):迁移适用页面以改善物理连续空间,和回收页面腾出容量不是同一个动作。申请大块物理连续区域可能受碎片影响,即使总空闲量看起来足够,也要核对所需粒度、区域和分配条件。
相关机制见 Linux 内存概念、Multi-Gen LRU 文档。判断目标机器采用哪种策略,需要结合内核版本、配置与启用状态。
3. 回收怎样拖慢请求:后台与直接路径
后台回收(Background Reclaim)由内核后台任务在相应条件下准备可用页面,kswapd 是 Linux 中重要的相关后台线程。如果分配请求不能及时得到所需页面,某些路径会让请求者自己参与回收,这称为直接回收(Direct Reclaim)。
直接回收发生在请求者执行分配的过程中,因此回收、回写或资源等待可能进入业务请求的耗时。线程在等待时并不一定占满 CPU,所以“CPU 不高”不能排除内存压力导致的延迟。
图表将在阅读到此处时加载…
不是所有分配失败都触发 OOM。分配大小、标志、重试条件、资源范围和内核路径会影响结果;有的接口可以返回 ENOMEM(内存不足错误),也可能有其他处理方式。
3.1 页面空闲数不是唯一条件
分配除了要求容量足够,还可能要求页面来自特定节点、内存区域,或在物理地址上连续。分配的“阶数”描述连续页面块的大小要求。NUMA(非统一内存访问)系统把内存分布在不同节点上,访问成本和分配位置也会影响路径。回收解决容量问题,内存规整改善连续空间,两者不能互相代替。
这不要求先背大量内核缩写。先记住:统计总量、请求条件和可用范围必须匹配。不能从一张全机 free 图排除所有分配或回收问题。
3.2 页面回收与 JVM GC 为什么不能互相代替
JVM 的垃圾收集(GC)根据对象可达性和运行时策略回收对象空间;操作系统(OS)看到的是映射、页面、引用和计账,不知道某个 Java 对象是否业务上已无用。
OS 换出一个仍有效的匿名页,页中的对象仍然存在,只是内容需要在访问时恢复。GC 回收对象空间后,运行时也可能继续保留这段区域供后续分配,所以 RSS(进程驻留在物理内存中的内存量)不保证立即下降。两者可能相互影响延迟,但必须分别看 GC 事件、分配、驻留与压力。基础布局见 JVM 内存布局,现场证据见 JVM 排障。
4. Swap:保存可换出内容,不是无限扩容
Swap,即交换空间及相关机制,为可换出的页面保存内容。换出把内容移到交换后备,使物理页面能够重新使用;再次访问时,换入恢复所需内容。后备可涉及存储设备、压缩内存等不同路径,因此 Swap 活动不一定是机械磁盘读写,也不能保证提供与驻留内存相同的访问成本。
| 观察 | 说明什么 | 不足以说明什么 |
|---|---|---|
| SwapUsed 不为零 | 有内容占用了相应交换空间 | 当前正在高频换入换出,或现在必定故障 |
| 换入换出增量上升 | 相应窗口发生交换活动 | 全部延迟都由 Swap 引起 |
| SwapFree 很多 | 后备空间还有余量 | 物理工作集足够,访问延迟有保障 |
| 没有 Swap | 不具备该普通交换后备 | 系统必定更快,或完全不回收文件页 |
换入旧内容通常比直接访问已驻留内存需要更多工作;精确成本依后备、缓存、资源压力和调度。适当交换冷数据可能有价值,频繁交换活跃工作集则可能严重拖慢服务。
vm.swappiness 是内核在回收策略中权衡匿名与文件等路径的参数,数值范围及行为依版本,不是“内存超过这个百分比才开始用 Swap”。选择设置时,需要查目标内核说明,并在实际负载下比较回收、交换和延迟,不能套用统一最佳值。
不要仅因 Swap 使用不为零就在线上执行 swapoff。关闭交换需要把相关内容重新放回内存,可能产生巨大压力甚至失败。
5. 约束地图:high、max、Swap 与层级
控制组(Control Group,cgroup)是 Linux 对一组进程进行资源计账和控制的机制。计账是把资源使用记到对应组的账上,不等于只统计某个进程的堆。下面讨论 cgroup v2。
一个服务可能同时受运行时上限、所在组的上限和祖先组的上限约束。主机还有物理内存,只说明主机范围可能有余量;如果服务所在组已无法在自己的预算内满足分配,仍可能失败。反过来,组内未到上限,也不能保证主机没有压力。
| 文件或机制 | 主要含义 | 易混淆边界 |
|---|---|---|
memory.current | 相应组范围的当前内存计账 | 不等于一个进程 RSS,也不只算堆 |
memory.high | 超过后施加相应回收压力和节流的高水位 | 不是遇到就直接 OOM kill 的硬边界;可超过 |
memory.max | 相应内存硬上限 | 无法通过回收满足时可进入组范围 OOM;不是任何瞬间超出都固定杀一次 |
memory.swap.current | 相应交换计账 | 与驻留使用分开,不随意重复相加做所有指标解释 |
memory.swap.max | 相应交换使用上限 | 不把它当 memory.max 的另一个名字 |
memory.events | 相应 high、max、oom 等事件计数 | 常有层级汇总,累计发生过不等于当前请求故障 |
memory.events.local | 该层本地事件计数 | 文件可用性和字段以目标系统为准 |
memory.stat | anon、file、kernel 等分类信息 | 部分字段有包含关系,不能把每行全部相加 |
读到某一级 memory.max=max,不证明整个服务没有限制,祖先组仍可能有限额。容器内部看到的根也不一定是主机真实根,必须结合 cgroup namespace 与挂载定位。
memory.events 的 oom_kill 表示属于该组的进程被适用 OOM killer 终止的计数,不单独证明就是当前组 memory.max 触发。区分触发范围还需本地/层级事件、内核记录、真实限制和实例时间线。
平台状态与容器排障见 cgroup 内存与 OOMKilled。
6. OOM 并非一种事件:先区分谁失败、谁终止
OOM,即 Out of Memory,表示适用范围不能满足内存需求,但不同层的响应并不相同。
| 路径 | 谁作决定或报告 | 常见证据 | 不应怎样归因 |
|---|---|---|---|
| 语言运行时内存错误 | JVM 等运行时 | 异常文本、运行时日志、分配和 GC 证据 | 所有 OutOfMemoryError 都是 Java 堆满 |
| 普通接口分配失败 | 分配器或系统调用 | 错误码、失败条件、进程限额 | 失败就一定被内核杀死 |
| cgroup 范围 OOM | 内核相关控制组路径 | 真实层级事件、限制、内核及平台记录 | 主机有 available 就能排除 |
| 全局 OOM | 内核更大资源范围 | 内核 OOM 日志及范围、被选任务 | 按某个容器 limit 图直接归因 |
| 平台驱逐或管理器终止 | kubelet、服务管理器等 | 驱逐、宽限期或管理器记录 | 统称 Kernel OOM |
| 用户态 OOM 管理策略 | 如配置了相关用户态管理服务 | 相应管理器日志与规则 | 保证每次都出现同一种内核事件 |
内核选择终止对象的机制受候选范围、计账、评分与配置等影响,并非总是终止占内存最大的进程。调整 OOM 评分会改变风险分配,不能解决内存预算缺口。
Shell 常见退出码 137 可与 SIGKILL(强制终止信号)的编码相关,但管理器强杀、人工操作等也可能产生相同结果。Python 在 POSIX 上的 returncode 使用不同的返回码约定,不能直接套用 Shell 的数值解释。回查 退出与信号,避免用一个整数证明 OOM。
7. 只读排障实战:先定位范围,再比较窗口
以下命令用于 Linux,需要目标系统具备对应工具、内核接口和读取权限。先记录实例与故障时间,再采样主机状态;随后定位服务所属 cgroup,比较该层及祖先的限制、事件和压力。不同范围的数据不能直接互相替代。
bash
# Linux 基础只读信息;free 是工具视图,meminfo 是相应内核统计来源。
free -h
grep -E '^(MemTotal|MemAvailable|SwapTotal|SwapFree|Cached|Dirty|Writeback|SReclaimable|SUnreclaim):' /proc/meminfo
cat /proc/swaps
# procps vmstat:有限采样;首行通常为启动以来平均,后续行为按窗口。
vmstat 1 4
# PSI 文件要求内核支持并启用;缺文件或缺权限需记录,不提权乱改。
cat /proc/pressure/memoryMemAvailable 是内核估计在不交换等条件下可供新应用使用的内存,不是给某个 cgroup 的保证。vmstat 的 si/so 分别用于观察换入、换出活动;单位、字段及首样本口径以实际版本为准。SwapUsed 是已经占用的交换空间,活动速率与当前占用量回答的是不同问题。
PSI,即 Pressure Stall Information,统计任务因资源压力而停顿的时间口径。内存 some 表示相应范围内至少部分任务停顿,full 表示相应范围内非空闲任务都处于相关停顿的时间;不是“多少百分比内存被用掉”。avg10/60/300 是相应时间窗口平均,total 是累计微秒口径,仍需比较增量及范围。
下面查询目标关系,不假设 /sys/fs/cgroup 内一定能拼出真实服务路径:
bash
# 12345 必须替换为已确认的服务 PID。
target_pid=12345
cat "/proc/$target_pid/cgroup"
grep -E '^(VmRSS|RssAnon|RssFile|RssShmem|VmSwap|Threads):' "/proc/$target_pid/status"
grep -E ' - cgroup2 ' /proc/self/mountinfo由进程 cgroup、挂载与命名空间定位正确目录后,才读取该层和祖先的 memory.current、memory.max、memory.high、memory.events、memory.stat 和压力。不能仅把进程报告的 cgroup 路径拼到 /sys/fs/cgroup 后就认定目录正确;容器视图不足时,需要平台或节点侧证据。
7.1 按时间线验证,而不是凭一张截图
| 假设 | 支持证据 | 必须排除的混淆 |
|---|---|---|
| high 引起回收与延迟 | 本地/层级 high 增量、压力与长尾同步 | 不是启动以来有计数就解释当前毛刺 |
| max 范围不能满足需求 | 真实限制与 oom/max、终止记录吻合 | 祖先限制、全局 OOM、人工强杀 |
| 活跃工作集反复换入 | 交换、缺页、I/O 与压力同窗口增长 | SwapUsed 历史积累、普通文件 I/O |
| 应用内存增长失控 | 分配类型、引用/映射增长与任务量 | 有界缓存、运行库保留及统计重复 |
| JVM 自身内存错误 | 异常类别、运行时预算与现场对象 | 不用堆图替代 native、线程与容器计账 |
内核与平台日志可能因权限或轮转而不可见,日志缺失不等于事件从未发生。应保存实例标识、重启前后时间和状态;只有计数或截图、没有对应时间线时,还不能确定终止原因。
8. 可运行预算示例:把堆以外的空间写出来
预算的基本算式是:总限制减去各类互不重复的预留空间,得到剩余空间。下面用堆峰值、本地与直接内存、线程栈与运行时、计账的文件与内核内存、安全余量演示这一关系。这里的直接内存指 JVM 管理的堆外缓冲区等空间,不能只用 Java 堆使用量代表它。
这个 Python 3 例子只计算预算,不申请用于模拟内存压力的大块内存。将代码保存为 memory_budget_demo.py,用 python3 memory_budget_demo.py 运行。所有数字是教学假设,以 MiB(1 MiB = 1024 × 1024 字节)为单位,不是通用配置建议。
python
from math import isfinite
def remaining_budget(limit_mib, reservations):
if (isinstance(limit_mib, bool) or not isinstance(limit_mib, (int, float))
or not isfinite(limit_mib) or limit_mib <= 0):
raise ValueError("限制必须为有限正数")
if any(isinstance(amount, bool) or not isinstance(amount, (int, float))
or not isfinite(amount) or amount < 0
for amount in reservations.values()):
raise ValueError("预算必须为有限非负数")
return limit_mib - sum(reservations.values())
def main():
limit_mib = 512
reservations = {
"heap_peak": 256,
"native_and_direct": 64,
"thread_stack_and_runtime": 48,
"charged_file_and_kernel": 64,
"safety_margin": 48,
} # 假设这些预算边界互不重复;实际须按目标计账与峰值核验。
remaining = remaining_budget(limit_mib, reservations)
assert remaining == 32
print("assumed limit MiB:", limit_mib)
print("remaining MiB:", remaining)
enlarged_heap = dict(reservations)
enlarged_heap["heap_peak"] = 384
assert remaining_budget(limit_mib, enlarged_heap) == -96
print("after enlarging heap, remaining MiB:",
remaining_budget(limit_mib, enlarged_heap))
for invalid in (-1, float("nan"), float("inf"), True):
try:
remaining_budget(limit_mib, {"invalid": invalid})
except ValueError:
pass
else:
raise AssertionError("应拒绝无效预算")
if __name__ == "__main__":
main()预期输出:
text
assumed limit MiB: 512
remaining MiB: 32
after enlarging heap, remaining MiB: -9632 与 -96 表示假设预算的算术结果:把堆预算从 256 MiB 扩大到 384 MiB,会多占 128 MiB,原来的 32 MiB 余量因此变成 96 MiB 缺口。这个结果不证明实际配置会或不会 OOM;实际类别可能重叠、峰值可能不同步,缓存和内核计账也依负载和平台。
工程预算应从可观测峰值、线程数量、连接和文件工作集出发,明确包含关系和突发余量。PSS 是把共享驻留页按共享比例分摊后的进程内存统计。堆、RSS、PSS 和 cgroup 总量存在包含或重叠关系,把它们全部相加会重复计数。
9. 工程止损与容易踩的坑
- 反例:主机有 free/available,就排除容器内存限制。正例:定位服务真实层级及祖先预算。 资源范围不同,结论不能跨范围搬运。
- 反例:所有 file 缓存都免费可丢弃。正例:看脏页、活跃工作集和重新读取成本。 强制清缓存可能让所有服务更慢。
- 反例:SwapUsed 非零就关 Swap。正例:观察同窗口活动和停顿,先评估容量与后备。 swapoff 本身可能造成巨大压力。
- 反例:OOMKilled 就继续加 Xmx。正例:先区分堆、native、线程、文件与内核计账。 运行时堆上限不是容器全部预算。
- 反例:自动无上限重试或重启。正例:限流、暂停新增工作、限制队列和重启频率,并保留证据。 重启丢缓存、重新初始化也可能反复冲击资源。
止损优先减少不受控的在途工作、缓存和批量峰值;扩容或增限要确认节点容量和相邻服务风险。不得为保护一个服务随意禁用 OOM 处理或把风险转嫁给其他进程。
10. 名词解释与延伸阅读
| 名词 | 简短解释 |
|---|---|
| Reclaim / Direct Reclaim | 回收可重新利用的页面 / 请求者上下文参与的回收路径 |
| LRU / Multi-Gen LRU / Compaction | 按访问历史识别冷热的思路 / 多代回收机制 / 改善物理连续空间的规整,不是同一动作 |
| kswapd / Page Cache | Linux 后台回收相关线程 / 内核文件数据缓存 |
| Dirty / Working Set | 需处理的修改状态 / 一段时间内反复需要的数据范围 |
| Swap / Thrashing | 适用页面的换出后备机制 / 反复回收与加载却缺乏有效工作 |
| PSI | 资源压力导致停顿的时间统计,不是容量使用率 |
| cgroup / high / max | 分组计账与控制 / 回收压力高水位 / 相应硬边界 |
| OOM / ENOMEM | 适用范围内存需求无法满足 / 接口报告的内存不足错误之一 |
- 前置与解释:缺页与 COW解释重新访问的代价,虚拟内存解释驻留和计账口径。
- 跨专题实践:cgroup 内存与 OOMKilled、JVM 参数与调优,分别深入平台证据与运行时预算。
- 后续排障:持续内存增长追增长类别、保留责任和释放时点;文件缓存与磁盘空间基础先读 inode 与描述符,再读 容量与 I/O 排障核对后端等待。
- 依据:Linux 内核
admin-guide/mm/concepts、admin-guide/cgroup-v2、accounting/psi与目标版本 sysctl 文档;Linux man-pagesproc_meminfo(5)、getrlimit(2)。具体事件范围、计账和回收能力以实际内核为准。
11. 一句话总结与三个要点
内存是否够用取决于需求、可回收成本和限制范围,压力既可能表现为停顿,也可能表现为失败或终止。
- 分开对象回收、页面回收、文件缓存与 Swap;有效内容不能无条件免费丢弃。
- 主机 available、进程 RSS、JVM 堆和 cgroup 使用不是同一预算,先定位真实范围。
- 用同窗口压力、分类增长、限制与退出证据定位 OOM,止损不靠盲目清缓存、关 Swap 或加堆。