外观
进程内存持续增长怎么查:从 RSS 到分配来源与释放责任
内存曲线持续上升,首先要分清增长的是运行时堆、进程驻留内存,还是整个控制组的占用。本文面向系统学习后端开发的程序员,先解释这些口径的关系,再追踪增长来源、保留者和释放时点,判断资源是否会在合理范围内稳定下来。
1. 场景:堆曲线平稳,为什么机器还是越来越吃紧
考虑一个教学场景:Java 服务的堆使用量在 GC 后回到相近水平,但容器内存持续增加。堆是 JVM 管理对象的主要区域;-Xmx 设置其最大容量。如果容器内存预算不变,直接增加堆上限会压缩其他内存的余量。只看 RSS 上升就做 heap dump(堆转储,用于分析堆中对象及引用关系),也可能找不到堆外的增长来源。
GC(Garbage Collection,垃圾回收)处理相应运行时管理的对象,不负责释放进程中的所有原生资源。原生内存通常指运行时对象堆之外的分配,具体覆盖范围取决于工具。即使对象已回收,其占用的内存也可能由运行时或分配器留作复用,没有立刻归还系统。容器的占用还可能包含同组文件缓存、其他进程和内核开销,因此堆曲线平稳不能排除这些增长。
因此第一问不是“用哪个 dump 工具”,而是:哪个统计范围、哪类内存、在什么业务阶段增长?
本文 Linux 命令面向提供 /proc 的系统;cgroup(控制组,用于对一组任务计账和限制资源)采用 v2。字段是否可用、能否读取以及诊断成本,取决于目标内核和权限。Python 3.8+ 小练习只保留约 1 MiB 教学数据,无外部依赖,不制造 OOM(Out of Memory,内存不足)。
2. 先恢复完整的内存地图
先区分三个层次:应用持有对象或缓冲区;运行时和分配器为它们管理内存块;操作系统负责虚拟地址与物理页之间的映射。内存页是系统管理内存的基本单位。保留一段虚拟地址,并不等于这段范围已经全部占用物理内存;实际访问其中的页,也就是“触页”,才可能使相应页进入物理内存。
RSS(Resident Set Size,驻留集大小)观察进程当前驻留在物理内存中的页。因此,对象数量、虚拟地址规模和 RSS 可以有不同走势:对象释放后,分配器仍可能保留内存;对象数量不变时,对已有映射的访问范围扩大,也可能增加驻留页。
VMA(Virtual Memory Area,虚拟内存区域)是内核描述连续地址范围及访问属性的结构。下图按用途列出进程内存,再列出控制组的计账范围:
text
进程虚拟地址空间
├─ 程序、共享库、文件映射:访问后可能驻留文件页
├─ 运行时对象与匿名分配:对象、原生堆、部分缓冲区
├─ 各线程栈:保留地址范围和实际触页是不同口径
└─ 其他映射:共享内存、直接映射等,分类依实现
同一个 cgroup 的计账
├─ 该组及相应后代的匿名、文件等已计账内存
├─ 相应内核开销,例如部分 socket、页表、内核栈
└─ 其他成员进程和组内工作:不是目标进程 RSS 的别名图中的类别用于定位,不宜直接相加。共享页可能同时出现在多个进程的 RSS 中;文件私有映射发生写时复制时,写入会产生私有副本,改变页的分类。控制组还按自身规则记录内存归属,不能用一个进程的 RSS 代替。
| 指标 | 观察什么 | 关键边界 |
|---|---|---|
| VSZ / VmSize | 虚拟地址范围规模 | 保留地址不等于实际物理占用 |
| RSS | 该进程当前驻留内存 | 共享页可能在多个进程 RSS 中重复统计 |
| PSS(Proportional Set Size) | 私有驻留页加上按共享程度分摊的共享驻留页 | 适合补充归属观察,不等于 cgroup 计账 |
| Anonymous / Private_Dirty | 匿名页(没有文件作为后备的页)/ 私有脏页(已修改的私有页) | 分类维度不同,不能直接全数相加 |
| Swap | 相应口径下换出的页 | RSS 下降可能是换出,不是资源释放 |
| 运行时 used/committed/reserved | 使用、已提交、保留范围等运行时口径 | 不同运行时定义有差异,都不等于 RSS |
| memory.current | cgroup 相应范围的当前内存计账 | 不是一个 PID 的内存,也不简单等于所有 RSS 之和 |
| memory.stat | 匿名、文件、内核等类别与活动计数 | 部分字段包含其他字段,不能无差别求和 |
| memory.events / PSI | 限制相关事件 / 内存不足导致的任务停顿压力 | 内存量与压力不是同一个指标 |
表中的 used、committed、reserved 分别是运行时报告的已用量、已提交量和保留范围,含义应按具体运行时理解。PSI(Pressure Stall Information,资源压力停顿信息)则描述任务因资源不足而停顿的情况。内存占用高说明“用了多少”,PSI 帮助判断“是否妨碍工作推进”。
运行时结构详见 JVM 数据区与内存布局,OS 基础详见 虚拟地址与分页、缺页与 mmap。
3. 哪些增长不是泄漏,哪些必须追生命周期
内存泄漏的工程定义是:业务生命周期已经结束,却因错误持有或缺少释放,继续保留不应存在的对象或资源。 生命周期指资源从创建、使用到应当释放的过程,例如请求缓冲区通常应在请求处理结束后解除持有。判断泄漏需要比较这个“应当释放”的时点与实际保留情况,不能只看曲线暂时没有回落。
正常增长也需要容量约束。在途任务是已经接收但尚未完成的工作;每个任务都可能持有数据,积压会增加占用。有界缓存则应有明确容量上限和淘汰规则,预热后在一定范围内稳定。表中的“活对象”指仍被引用、不能回收的对象,不一定仍被业务使用。
| 候选 | 常见表现 | 必须补的证据 |
|---|---|---|
| 合法流量增长 | 并发、在途任务、缓冲一起增长 | 单位任务占用、最大并发和完成后回落 |
| 有界缓存预热 | 新键增长后达到稳定规模 | 容量上限、淘汰、命中收益和最坏值大小 |
| 无界缓存或队列 | 输入不断进入,淘汰或消费跟不上 | 入出速率、队列年龄、持有容器与拒绝机制 |
| 对象泄漏 | 同阶段活跃对象或保留集合持续增长 | 从根到对象的引用路径与错误持有者 |
| 原生资源未关闭 | 原生分配、线程或映射增长 | 创建与释放配对、所有者、失败路径 |
| 分配器留存或碎片 | 活对象减少,RSS 未同步下降 | 运行时/分配器统计、映射变化和复用行为 |
| 文件访问与映射触页 | file 或映射驻留增加 | 文件身份、访问范围、是否可回收及实际压力 |
分配器(Allocator)管理可复用内存块。对象释放后,内存可能留在进程管理的 arena(分配区域)中供下一次使用。如果空闲块与仍在使用的块交错分布,就可能难以整体归还,这是碎片造成留存的一种情况。实际能否归还取决于分配器、分配大小和配置,不能仅凭 RSS 未下降就认定是碎片。
4. 第一阶段:判断是谁、哪类内存增长
先确认目标 PID(进程编号)和启动时间,再采集进程快照。下面的命令分别观察虚拟规模、驻留分类、换出量和线程数;/proc/PID/cgroup 用于继续定位所属控制组。
bash
# Bash / Linux;替换为目标 PID,先核对启动代次。
pid=12345
if ! ps -p "$pid" -o pid,lstart,args; then
printf '目标不存在或不可见\n' >&2
exit 1
fi
# 三份有限快照;status 部分驻留统计并非精确映射级计账。
for sample in 1 2 3; do
date -u '+%Y-%m-%dT%H:%M:%SZ'
if ! grep -E '^(VmSize|VmRSS|RssAnon|RssFile|RssShmem|VmSwap|Threads):' "/proc/$pid/status"; then
printf '读取失败,停止该目标的采样\n' >&2
exit 1
fi
if [ "$sample" -lt 3 ]; then sleep 2; fi
done
# 仅在目标允许读取时获取一次聚合映射信息,避免全机扫描。
if [ -r "/proc/$pid/smaps_rollup" ]; then
grep -E '^(Rss|Pss|Private_Clean|Private_Dirty|Anonymous|Swap):' "/proc/$pid/smaps_rollup"
fi
# 找到实际控制组和挂载视图后,再按 cgroup 前置文章定位。
cat "/proc/$pid/cgroup"读输出时,先看 VmRSS 是否增长,再比较 RssAnon(匿名驻留)、RssFile(文件驻留)和 RssShmem(共享内存驻留)的变化。匿名驻留增长时,结合堆和线程趋势继续缩小范围;文件驻留增长时,转向文件访问与映射。VmSwap 增长提示还要检查换出,不能把 RSS 回落直接当作释放。
smaps_rollup 提供映射信息的聚合值,依内核支持与权限提供;读取时也可能需要遍历页表,在大进程上仍有成本。完整 smaps 用于确认具体哪个映射增长,应先评估规模和路径信息的敏感性,不频繁导出全量。
进程退出后,PID 可能被新进程重用。采样间要结合进程管理器记录的实例身份和启动代次复核,避免把两次启动的数据连成一条趋势。实际流量、线程数、发布和 GC 阶段应与快照一起保存;三个短快照只用于初筛,不足以证明长期泄漏。
4.1 在组级指标上补齐“量”和“压力”
按 cgroup 层级与计账定位真实 v2 目录,读取 memory.current、memory.stat、memory.events、memory.high、memory.max,以及可用的 memory.pressure。控制组有层级,父组及更上层的祖先组也可能设置限制,因此不能只检查目标组。
anon增长:转向匿名映射、活对象、栈或原生分配候选。file增长:检查文件读取、缓存和共享内存分类,不能直接叫“堆泄漏”。file包含某些细分项,不能重复求和。kernel等增长:结合细分字段检查线程、页表、socket(套接字)等候选,以实际内核提供的字段为准。- 内存量高但停顿低:可能在利用缓存;量高且回收、Swap、PSI 同时恶化:需要处理工作集与压力。工作集是某段业务执行需要反复访问的内存集合;频繁换出再读回这些页,可能使业务变慢。
memory.high 通常通过回收与节流施压,即要求任务参与回收或推迟其推进,不直接等同 OOM 上限。达到 memory.max 限制后,若回收仍无法满足分配,可触发相应 OOM。memory.events 中的 oom_kill 增量也不能单独证明就是这一层 max 触发,需关联祖先和内核事件。处理边界见 回收、Swap 与 OOM和容器 OOMKilled。
5. 第二阶段:从增长类别追到保留责任
图表将在阅读到此处时加载…
分配栈是创建资源时经过的函数调用路径,回答“在哪里创建”;保留路径是从持有根到对象的引用链,回答“谁使它继续存在”。持有根是分析引用链的起点,例如长期存活的全局容器。创建数据本身可能正常,真正的问题却是调用方在任务结束后忘记移除 Map 中的引用。因此应沿保留路径找到持有者,再检查它是否遵守释放时点。
Java 可以先比较相似 GC 阶段的堆趋势与对象类别,避免把回收前的峰值与回收后的低点直接比较。再按问题选择 JFR(Java Flight Recorder,运行时事件记录)、对象直方图(按对象类别汇总数量和占用)或 heap dump。NMT(Native Memory Tracking,HotSpot 原生内存跟踪)需要按实际启动配置使用,且不覆盖全部第三方原生分配;它的 committed 也不等于 RSS。具体命令、版本与开销见 JVM 排障工具。
Full GC 通常涉及更大范围的堆回收,“先 Full GC,再 dump”会改变现场;回收和转储还可能带来停顿、额外空间开销,转储可能包含敏感数据。ThreadLocal 用于保存线程关联的值,排查时应检查线程生命周期和任务结束后是否清理:长寿命线程可能继续持有已结束请求的数据。具体机制见 ThreadLocal 泄漏与上下文污染。
6. 最小练习:分配地点、保留集合和释放是三件事
这个练习用 tracemalloc(Python 内存分配跟踪工具)观察受其追踪的 Python 内存块。保存为 retained_memory.py,运行 python3 retained_memory.py。数据仅 16 个 64 KiB 块,退出时主动清理。
allocate_block 创建数据,retained 列表决定保留多久。程序先记录基线快照,再分配数据并比较差分;随后清空持有集合,再观察释放后的差分。这样可以将“在哪里分配”和“什么时候解除持有”分别对应到代码。
python
# Python 3.8+;有界练习,不读取生产进程,不制造无界泄漏。
import gc
import tracemalloc
def allocate_block(size):
# 分配地点不一定是错误持有者;调用者决定保留多久。
return bytearray(size)
def main():
retained = []
tracemalloc.start(5)
try:
baseline = tracemalloc.take_snapshot()
for _ in range(16):
retained.append(allocate_block(64 * 1024))
allocated = tracemalloc.take_snapshot()
current, peak = tracemalloc.get_traced_memory()
print("保留块数:", len(retained))
print("业务数据字节:", sum(map(len, retained)))
print("追踪 current/peak:", current, peak)
for statistic in allocated.compare_to(baseline, "lineno")[:3]:
print(statistic)
assert len(retained) == 16
assert sum(map(len, retained)) == 1024 * 1024
# 生命周期结束:由真正的持有集合释放引用。
retained.clear()
gc.collect()
released = tracemalloc.take_snapshot()
print("清理后保留块数:", len(retained))
for statistic in released.compare_to(allocated, "lineno")[:3]:
print(statistic)
assert not retained
finally:
# 中途打印或分析失败也不遗留教学资源。
retained.clear()
tracemalloc.stop()
if __name__ == "__main__":
main()预期输出:业务数据为 1,048,576 字节,保留块数从 16 变为 0。分配行的快照差分应显示相应增长与释放,但追踪总量、行排序和具体输出依 Python 版本及其他分配变化,不设固定值。current 是当前受追踪的内存量,peak 是追踪期间的峰值,不能把它们直接当作业务数据大小。
不要断言“清理后 RSS 必须下降 1 MiB”。tracemalloc 不是 RSS 采集器,也不是全部 native、mmap 或内核资源的追踪器。早点启动能覆盖更多 Python 分配,但仍不能自动给出所有保留引用链。这里主动清理并未发生真实泄漏,教学展示的是若持有集合不按生命周期释放,就有长期保留的条件。
如果在实际业务中看到 allocate_block 是主要分配地点,应继续追问:任务完成后,retained 为什么还持有这些数据?仅更换分配方式,不能解除错误的持有关系。
7. 工程修复:同时处理容量和生命周期
| 发现 | 根因级处理 | 复测重点 |
|---|---|---|
| 缓存持续接收新键 | 按内存预算设上限、淘汰和过期,限制单值大小 | 缓存稳定区间、命中率、回源压力 |
| 在途任务或队列增长 | 有界队列、准入和超时取消;明确取消后资源释放 | 队列年龄、拒绝率、完成率、占用回落 |
| 请求上下文长期保留 | 在成功、异常、取消路径统一清理 | 长寿命线程和复用场景无旧上下文 |
| 缓冲区、线程或映射未释放 | 明确唯一所有者与关闭协议,防止异常分支跳过释放 | 创建/释放计数差、存活资源趋势 |
| 有界分配但 RSS 留存偏高 | 核验分配器和工作集,评估复用及适合的配置 | 相似负载下是否稳定,是否增加缺页和延迟 |
制定内存上限时,应预算堆、原生资源、线程、缓存和组级开销,并预留余量;这些用途可能重叠,不能把不同工具的数字机械相加。有界队列限制待处理任务数量,准入控制决定是否接收新任务,二者用于避免处理能力不足时继续积压。超时或取消后仍要落实资源释放,否则任务结束不等于占用结束。
临时提高内存 limit(使用上限)只有在宿主机和相邻服务仍有预算时才适合作为止损。重启能释放旧进程资源,却不能修复下次继续增长的原因。
8. 容易踩的坑与证据闭环
- 比较同一业务阶段,而非只比较曲线高低。 预热、并发峰值、队列和访问模式都可能改变工作集,应检查相似负载、相似 GC 阶段以及生命周期结束后的保留量。
- 先辨认字段关系,再计算总量。 RSS、PSS、
Anonymous、Private_Dirty分别涉及总量、分摊和交叉分类,不是一组互斥类别。 - 堆平稳时继续检查堆外与组级占用。 原生分配、线程、映射和组内其他成员都可能增长。
- 清缓存或强制 GC 后下降,仍需检验重复负载。 Page Cache(页缓存)保存文件数据页,清理它会改变后续 I/O;GC 也不负责释放所有资源。一次下降不能证明增长原因已消除。
- RSS 回落时同时看压力与业务表现。 Swap 增长可能说明页被换出;若 PSI 和业务延迟随之恶化,服务并没有因此恢复。
建议保存一张证据表:实例代次、业务阶段、增长类别、创建来源、保留者、预计释放时点、实际释放结果、反证、干预和回退。反证是与当前假设不符的观察,例如怀疑对象泄漏,但相似 GC 阶段的活对象量稳定、增长主要来自文件驻留,就应转向文件访问和映射。
修复后至少跨过原来的增长周期,复测正常流量与取消、异常路径。既要看占用是否形成稳定区间,也要看拒绝率、完成率、延迟和压力;增长速度变慢仍不等于已经有稳定上限。
9. 延伸阅读、名词解释与依据
- 前置:虚拟地址、缺页与映射,帮助区分地址规模与驻留变化。
- 原理解释:回收与 OOM,解释“内存量”和“压力”为什么不能互换。
- 横向排障:CPU 与 Load,回收开销或阻塞可以成为延迟线索;磁盘与 I/O,用于检查换出和文件访问相关瓶颈。
| 名词 | 回查解释 |
|---|---|
| RSS / PSS | 进程驻留量 / 共享页分摊后的驻留量 |
| Working set | 某段业务执行实际需要反复访问的内存集合 |
| Allocator / Fragmentation | 管理内存块的分配器 / 空闲块难以充分利用或归还的碎片状态 |
| Retention path | 从持有根到对象的保留引用路径 |
| Native memory | 运行时管理对象堆之外的原生分配等内存,覆盖依工具定义 |
| Bounded cache | 有明确容量、淘汰与生命周期约束的缓存 |
以下资料用于定义核验;目标环境的内核、运行时、分配器版本和诊断成本仍需记录与验证:
10. 一句话总结与三个要点
内存增长排查要先找增长类别,再找谁保留、何时应释放,最后证明资源在真实生命周期内有界,而不是只追一条 RSS 曲线。
- 运行时堆、进程驻留和 cgroup 计账范围不同,不可互相代替或随意相加。
- 分配地点不是持有责任,泄漏需要生命周期与保留证据。
- 用有界缓存、明确所有者和异常路径清理修复,并验证压力、业务与长期稳定性。