外观
07 - 申请内存为什么不等于占用物理内存:虚拟地址、分页、页表与 TLB
摘要
服务申请了很大一块内存,监控中的驻留内存为什么没同步增加?两个进程出现相同地址,是否在访问同一对象?关键在于:程序使用虚拟地址,访问时要按映射关系找到对应的物理内存;获得地址范围,不代表整个范围都已驻留。本文从这个模型出发,解释分页、页表和转换缓存,再区分分配量、映射大小与内存统计指标。
阅读指引
- 前置阅读:进程与线程的资源归属,理解普通进程的地址空间隔离;程序执行全景,区分用户态与内核。
- 本文定位:建立地址转换和内存统计基础。缺页的具体处理、写时复制(COW)、内存映射接口
mmap的使用细节,以及内存不足(OOM)的处理将在后续文章展开。 - 环境边界:原理以具有虚拟内存的现代系统为背景,观测以 Linux 为主。页大小、页表层数、地址宽度、大页与转换缓存细节都依架构和配置。
- 示例要求:Python 3.8+。地址拆分示例跨平台可运行;匿名映射示例可在常见平台执行,但
/proc/self/smaps的指标观测仅用于 Linux,并依权限和内核配置。 - 实验范围:只分配 2 MiB 映射,不制造 OOM、不读物理页号、不调整大页或内存承诺策略(overcommit)。驻留统计的精确增量与物理页分配行为依赖目标系统,不能预设固定结果。
1. 场景:申请了 1 GiB,为什么监控不是立刻涨 1 GiB
假设服务申请了 1 GiB 空间,接口返回成功,但监控没有立即增加 1 GiB。要解释这个现象,先分清三个状态:程序获得可用的虚拟地址范围、访问所需的映射状态已经准备好、相应页面当前驻留在物理内存中。驻留指页面当前在物理内存中;RSS(Resident Set Size,驻留集大小)用于统计进程的驻留页面。
这三个状态不一定同时完成。例如,某段映射允许按需准备页面时,可以先建立地址范围,等程序实际访问某页时再准备该页。因此,映射大小可以先增加,RSS 却未必同步增加。这里的“触碰”就是实际读取或写入内存,后面的示例用写入来触碰每一页。
具体分配接口还可能复用运行库已有的内存池,或者在返回前初始化、提前触碰页面。malloc 是 C 运行库的内存分配接口,Java 对象分配由运行时管理,mmap 则建立地址映射;它们虽然都能让程序获得空间,却不保证产生相同的 RSS 变化。
同样,释放一个对象不保证进程 RSS 立即下降:内存可能先回到分配器或运行时池中,而没有立刻撤销映射或归还页面。应先说清统计对象,再讨论泄漏。
2. 进程内存全景:不是只有“堆和栈”
Virtual Address,即虚拟地址,是程序执行时使用的地址;Physical Address,即物理地址,是映射到内存等底层目标的地址。普通应用通常使用虚拟地址,不直接持有可自由使用的物理地址。
Address Space,即地址空间,包含进程的虚拟地址范围、映射关系和访问权限。映射说明一段虚拟地址对应什么底层内容,权限说明是否允许读取、写入或执行。两个普通进程即使使用相同的地址数值,也可能通过各自的映射访问不同内容;是否共享,要看映射关系,不能只比较数字。
文件映射以文件内容作为后备来源;匿名映射不以普通文件内容作为初始化来源。两者都占用虚拟地址范围,但范围中的页面是否已经驻留,是另一个问题。
| 区域或对象 | 常见用途 | 与物理内存的关系 |
|---|---|---|
| 可执行文件代码与只读数据 | 指令、常量等 | 文件映射页可能按需进入内存,并可有共享机会 |
| 全局与静态数据 | 程序长期状态 | 修改状态的映射和共享规则取决于具体区域 |
| 运行库管理的堆 | malloc 等分配得到的对象 | 可能来自已有池或新的映射,不要求每个对象单独系统调用 |
| 各线程栈 | 函数调用和线程执行状态 | 有各自使用范围,仍通常处于共享进程地址空间 |
| 文件与匿名映射 | 库、文件数据、大块内存等 | 可以私有或共享;映射大小不等于当前驻留大小 |
| 保护或未映射区域 | 隔离、栈保护、地址空洞等 | 有地址范围不代表允许任意读写或已分配物理页 |
| 页表等内核管理结构 | 维护地址转换与权限 | 有自身开销,不能只靠应用对象大小计算全部成本 |
布局受装载器、库、架构和 ASLR 影响。ASLR,即地址空间布局随机化,会改变部分区域位置;这张表不承诺固定的“代码永远在最下方、栈永远紧挨内核”地址图。
Java 堆、元空间、native 分配等属于运行时与实现口径,进一步看 JVM 运行时数据区与内存布局。JVM 规范区域图不能替代操作系统的进程映射全景。
3. 分页基础:页、页框与页内偏移
系统按块管理地址映射,而不是为每个字节单独记录去向。虚拟地址空间中的这种块称为页(Page),物理内存中对应的块称为页框(Page Frame)。页表(Page Table)记录虚拟页到物理页框的映射以及访问属性。因此,程序可以使用连续虚拟地址,而相邻虚拟页对应的物理页框不必连续。
text
进程中的连续虚拟页: 页 0 页 1 页 2
↓ ↓ ↓
物理页框可能是: 框 9 框 3 框 12
程序仍可按连续虚拟地址访问;底层物理位置不必连续。页大小不是所有系统都固定 4 KiB。4 KiB 是常见教学基线之一,实际基础页应查询目标环境;大页还有自己的配置与映射粒度。
3.1 地址拆分公式
访问页中的某个字节,需要知道它属于哪一页,以及距离该页起点有多少字节。前者是虚拟页号,后者是页内偏移(Offset)。用一个教学模型:虚拟地址 0x12345,页大小 4096 字节,即 0x1000。
text
虚拟页号 = 虚拟地址 // 页大小 = 0x12
页内偏移 = 虚拟地址 % 页大小 = 0x345
若页表把虚拟页 0x12 映射到物理页框 0xA:
物理地址 = 0xA × 0x1000 + 0x345 = 0xA345页表找到目标页框后,用“页框起始地址 + 页内偏移”定位字节。因为这个模型中页与页框大小相同,转换只改变所在的块,页内位置保持不变。没有相应映射、权限不符或需要准备页面时,访问还需要进一步处理。
这不是实际进程物理地址的测量。示例页框是人为指定的,不从 id(object) 推导物理地址;Python 的对象标识也不是所有解释器都承诺可用于指针运算的内存地址。
3.2 分页解决什么,不解决什么
分页让程序使用连续虚拟范围而不强求物理连续,也便于按页建立保护、共享和按需准备。代价包括页表开销、转换成本和按粒度管理导致的空间浪费。
分页不自动解决分配器碎片,也不证明任意大块请求都成功:地址空间、运行库、限额、物理资源与计账策略都可能限制分配。不能把“虚拟范围很大”当作“实际可无限使用内存”。
4. 页表、权限与转换缓存:访问如何到达目标
MMU(Memory Management Unit,内存管理单元)负责地址转换与访问保护。页表中的记录称为页表项(Page Table Entry,PTE),包含映射及权限等信息,具体字段依架构而定。
先忽略缓存:一次访问需要找到对应页表项,确认映射有效且权限允许,才能访问目标。如果每次都重新查找,地址转换本身就会增加开销。因此,硬件使用 TLB(Translation Lookaside Buffer,地址转换缓存)保存转换结果和相关属性,后续访问可复用有效结果。TLB 缓存的是“地址怎样转换”,CPU 数据缓存保存的则是数据内容。
图表将在阅读到此处时加载…
沿多级表查找映射的过程称为页表遍历(Page Walk)。不同架构的硬件遍历、软件参与方式和缓存结构有差异;图中表示的是转换与异常处理的职责关系。
4.1 为什么页表常是多级结构
如果用一个线性表为整个虚拟地址范围的每一页预留记录,即使大部分地址没有使用,表也会占用大量内存。多级页表把页号拆成多级索引:上级表先定位下级表,下级表再定位相应记录。未使用的范围可以不建立对应下级表,从而节省管理内存。
Linux 使用可映射到架构能力的页表层次抽象;架构不需要的层可折叠,实际硬件不统一为固定五级。普通页与大页也可能在不同层完成映射。背“所有系统都是四级”或“Linux 一定走五次内存访问”都不准确。
4.2 用一个小算例理解:为什么线性页表可能很大
只考虑教学假设:32 位虚拟地址、4 KiB 页、每个页表项 4 字节。整个虚拟范围有 2^32 / 2^12 = 2^20 个页号;为每页预留一项,单个线性表就是 2^20 × 4 = 4 MiB,即使应用只用了一小块地址也要承担这个模型的全表成本。
再假设两级结构,每级使用 10 位索引,页内偏移 12 位:一个 4 KiB 的下级表有 1024 项,可覆盖 1024 × 4 KiB = 4 MiB 虚拟范围。如果映射都落在同一个下级表覆盖的范围内,这个模型只需要一个顶级表和一个下级表,共 8 KiB,而不必建立全部下级表。映射若跨越多个这样的范围,就需要更多下级表。
text
教学32位地址:高10位索引 → 下一级表的10位索引 → 页内12位偏移
顶级表 下级表 4096字节内位置这不是当前 x86-64、ARM64 或 Linux 进程的真实页表占用测量。页表项宽度、层数、大页、稀疏映射和内核共享结构都会改变成本;即使应用只保留少量数据,分散在许多范围内也可能需要更多管理结构。具体层次依据见 Linux 页表文档。
4.3 TLB miss 不等于缺页
TLB miss 表示转换缓存中没有所需的有效结果。如果页表中的映射已经有效且权限允许,查找页表后就能继续访问,页面可以一直在物理内存中。只有映射或保护状态还需要处理时,才会进入相应异常路径。因此,TLB 未命中不能直接推导出缺页或磁盘读写。
Page Fault,即缺页异常,是地址访问需要内核等处理映射或保护问题的事件。它可能是正常按需准备,也可能是非法访问;名称里的“缺”不能直接解释成“物理内存不够”。
| 情况 | 基础含义 | 不应直接推断 |
|---|---|---|
| TLB 命中 | 有适用的缓存转换信息 | 所有数据也已在 CPU 数据缓存里 |
| TLB 未命中 | 转换缓存缺少所需结果 | 必定缺页、换入或读取磁盘 |
| 页表映射未就绪 | 访问需要进一步处理 | 一定是错误,可能是正常按需准备 |
| 权限不符合访问 | 如不允许写入或执行 | 一定是 OOM,可能是程序越界或保护协议 |
| 数据缓存未命中 | 数据访问层需要进一步取数 | 等同于 TLB 未命中,两者缓存对象不同 |
4.4 共享映射与权限必须一起看
同一个物理页可按规则映射到多个进程,例如代码共享或显式共享内存。每个进程中仍有自己的地址与权限环境,不是“共享物理页就能任意访问对方所有内存”。
修改页表后,TLB 中可能仍存着旧映射或旧权限。为了让后续访问遵守新状态,需要按架构规则使旧转换信息失效。在多核共享地址空间中,这可能涉及多个 CPU 的协调,称为 TLB Shootdown,即跨 CPU 的转换缓存失效协调。这也是映射变更可能产生额外成本的原因,实际耗时取决于平台与变更范围。
5. 分配、映射、驻留、计账:四个口径分开
| 口径 | 回答什么 | 不能直接等同什么 |
|---|---|---|
| 分配器或运行时的对象/块分配 | 应用现在获得多少可用空间 | 新增多少物理内存、做了几次系统调用 |
| Virtual Size / 映射大小 | 地址空间覆盖了多少区域 | 所有页面已经驻留 |
| RSS,Resident Set Size | 按统计口径当前驻留的进程页面 | 独占物理内存、完整 cgroup 计账 |
| PSS,Proportional Set Size | 共享页面按相应份额摊分的驻留口径 | 容器总成本或分配器可释放字节 |
| cgroup 内存计账 | 该控制组及适用层级的计账使用 | 单进程 RSS 或 Java 堆占用 |
cgroup 是 Linux 将进程分组、统计资源并实施限制的机制。这里的“计账”指系统把哪些内存使用记入该组,并不是简单把组内各进程的对象大小相加。
共享页面在多个进程 RSS 中可能各自计入,简单相加可能重复;PSS 是一种分摊观察方式。cgroup 还可能计入文件缓存和内核等相应内存项目,不能把 memory.current 减去 Java 堆大小就宣称差值全是泄漏。
5.1 成功建立映射不是物理资源的无限保证
Linux overcommit,即内存承诺策略,影响系统怎样判断部分内存请求能否接受;具体模式、限额、映射类型与配置都会改变条件。不要无条件写“malloc 永远成功,只有访问时才可能失败”。
同样,某些接口、预触碰、锁页和分配器行为可能提前准备页面。“按需准备”是重要机制,不是全部分配调用的固定效果。 原因归因要先明确 API、运行时和目标设置。
5.2 大页不是无代价扩大 TLB
Huge Page,即大页,使用比基础页更大的映射粒度。同样大小的地址范围用大页映射时,一个转换条目可以覆盖更多地址,因此可能降低部分转换与页表成本。但分配、碎片、回收、延迟与内存利用率都有权衡。显式大页由应用或配置明确请求;Transparent Huge Pages(THP,透明大页)由内核机制管理,两者的使用路径不同。
本篇只建立大页与映射粒度的关系,不建议直接开启或关闭整机大页。实际应固定内核、工作负载、预热与内存预算做测量,并观察长尾而不只看平均吞吐。
6. 可运行实战一:用程序校验地址拆分
保存为 address_translation_demo.py,用 python3 address_translation_demo.py 运行。模型自行指定映射,检查页号、偏移和未映射情况,不需要读取真实物理地址。
python
PAGE_SIZE = 4096 # 教学页大小,不声称是当前机器的真实基础页。
PAGE_TABLE = {0x12: 0xA, 0x13: 0x2}
def translate(virtual_address):
if isinstance(virtual_address, bool) or not isinstance(virtual_address, int):
raise TypeError("教学地址必须是整数")
if virtual_address < 0:
raise ValueError("地址必须非负")
page_number, offset = divmod(virtual_address, PAGE_SIZE)
if page_number not in PAGE_TABLE:
raise LookupError("教学模型中该页未映射")
frame_number = PAGE_TABLE[page_number]
return frame_number * PAGE_SIZE + offset
def main():
assert translate(0x12345) == 0xA345
assert translate(0x13000) == 0x2000
assert translate(0x13FFF) == 0x2FFF
for invalid_address, expected_error in ((-1, ValueError), (0x14000, LookupError)):
try:
translate(invalid_address)
except expected_error:
pass
else:
raise AssertionError("应拒绝非法或未映射地址")
print("0x12345 ->", hex(translate(0x12345)))
print("边界与未映射检查通过")
if __name__ == "__main__":
main()预期输出:断言通过后,程序打印 0x12345 -> 0xa345 和“边界与未映射检查通过”。
真实 MMU 还涉及多级索引、权限、页大小和异常路径;这个最小模型只校验普通页号与页内偏移的关系,不能用于评估真实页表的性能。
7. 可运行实战二:先映射,再触碰,分别观察
保存为 mapping_demo.py,运行 python3 mapping_demo.py。只建立 2 MiB 匿名映射,并按报告的基础页大小写入一个字节,随后关闭映射。Windows 无 /proc 时仍能验收写入和释放路径,但不会输出 Linux 驻留指标。
python
import mmap
from pathlib import Path
FIELDS = {"Size:", "Rss:", "Pss:"}
def sample_linux_mappings(label):
source = Path("/proc/self/smaps")
if not source.exists():
print(label, "无 Linux smaps,仅验证映射数据")
return
try:
totals = {field: 0 for field in FIELDS}
for line in source.read_text(encoding="utf-8").splitlines():
parts = line.split()
if len(parts) >= 3 and parts[0] in FIELDS and parts[2] == "kB":
totals[parts[0]] += int(parts[1])
print(label, "整个进程映射汇总(kB):", totals)
except (OSError, ValueError) as error:
print(label, "smaps 不可用:", type(error).__name__)
def main():
length = 2 * 1024 * 1024
page_size = mmap.PAGESIZE
print("基础页大小:", page_size, "映射长度:", length)
sample_linux_mappings("before")
with mmap.mmap(-1, length) as region:
sample_linux_mappings("mapped")
for offset in range(0, length, page_size):
region[offset] = 1 # 触碰页,不构造额外的大块 bytes 副本。
for offset in range(0, length, page_size):
assert region[offset] == 1
sample_linux_mappings("touched")
sample_linux_mappings("closed")
print("数据与关闭路径校验通过")
if __name__ == "__main__":
main()预期输出:程序报告基础页大小和映射长度;能够读取 Linux smaps 时,分别打印 before、mapped、touched、closed 四个阶段的进程映射汇总,否则提示 smaps 不可用或不存在。写入断言通过且映射关闭后,打印“数据与关闭路径校验通过”。各阶段内存指标没有固定预期数值。
解释输出时需要注意:
- Linux 匿名映射常可按需准备页面;先映射再写入可以观察映射与驻留的区别,但不承诺某个阶段精确增加 2048 kB。
- 这里采样整个进程,读取并解析 smaps 本身也会引起 Python 分配;不是单独映射的无扰动测量,精确归因应在固定环境定位具体映射。
mmap.PAGESIZE是平台报告的基础页大小,不证明所有区域都以相同粒度映射;大页可能改变实际覆盖。- 匿名映射的共享/私有默认条件由平台与接口决定;本例没有创建子进程,不用于观察
fork后的私有写时复制。 - 关闭本例映射不保证进程整体 RSS 回到一模一样的数值,解释器和观测仍可能保留其他内存。
如果只是学习数据和关闭行为,可以跳过 smaps 输出;映射写入断言就是基础练习。若需要看指标,先固定目标 Linux 环境和采样范围,不为这 2 MiB 例子配置物理页号读取或复杂 tracing。方法见 实验可信验证。
8. Linux 只读观察:先看范围,再看驻留
bash
# Linux:12345 替换为已确认 PID;先查看进程层口径。
target_pid=12345
grep -E '^(VmSize|VmRSS|RssAnon|RssFile|RssShmem|VmSwap|VmPTE):' "/proc/$target_pid/status"
head -n 20 "/proc/$target_pid/maps" # 地址范围、权限、映射目标;不是物理页号
# 系统提供 getconf 时可查询基础页;精简镜像可能没有该命令。
getconf PAGESIZEmaps 展示虚拟范围、读写执行权限、共享或私有等信息,不表示所有页都已驻留。status 的部分驻留计数有精度限制,不做字节级精确验收;需要更细证据时在可用系统读取 smaps 或 smaps_rollup,考虑权限、开销与并发变化。
不要在线上高频全量扫描大进程的 smaps,也不要为获取物理页号随意提权读取 pagemap。当前排障目标通常是映射类型、增长路径和预算,不需要把敏感地址信息全部导出。
| 现象 | 优先检查 | 不足以成立的结论 |
|---|---|---|
| VmSize 很大、RSS 较小 | 地址预留、未触碰映射、区域类型 | 实际已经独占相同大小的物理内存 |
| 对象减少、RSS 没降 | 分配器保留、运行时池、映射与回收 | 必定泄漏,或必定没有泄漏 |
| RSS 相加超出直觉 | 共享页面与统计范围 | 系统计数错了 |
| 缺页次数增加 | 分配/访问阶段、映射与异常类型 | 必定读磁盘,或必定 OOM |
| 容器被终止但 Java 堆不满 | cgroup 总计账与真实限制 | Java 堆有余量就排除内存压力 |
容器计账与终止证据继续看 cgroup 内存与 OOMKilled;应用对象、native 分配和映射的诊断则结合 JVM 故障排查。
9. 容易踩的坑与工程取舍
- 反例:申请成功就等于全部驻留。正例:分别检查 API、映射、触碰与计账。 不同分配层和策略不能共用一个默认假设。
- 反例:虚拟地址相同就访问同一物理对象。正例:结合地址空间和映射身份。 共享需要明确映射关系,不凭数字推断。
- 反例:TLB miss 就是磁盘缺页。正例:区分转换缓存、有效页表、页面准备和数据缓存。 它们是不同层的事件。
- 反例:所有页都是 4 KiB、所有页表四级。正例:查询架构、基础页和实际映射粒度。 教学示例不是目标机器配置。
- 反例:RSS 不降就立即判泄漏或手动强迫回收。正例:先追分配、引用、分配器保留和映射增长。 调整内存策略应有预算、测量和回退。
10. 名词解释与延伸阅读
| 名词 | 回查解释 |
|---|---|
| VA / PA | 虚拟地址 / 物理地址,普通应用主要使用前者 |
| Page / Frame / Offset | 虚拟页 / 物理页框 / 页内偏移 |
| MMU / PTE | 地址转换与保护机制 / 页表中的映射与属性项 |
| TLB / Page Walk | 转换缓存 / 查找页表映射的过程,依架构实现 |
| Page Fault / ASLR | 访问需要处理映射或保护的异常 / 部分地址布局随机化 |
| RSS / PSS | 驻留页面口径 / 对共享驻留页分摊的口径 |
| Anonymous Mapping / Overcommit | 不以普通文件内容作为来源的映射 / 接受内存承诺的策略 |
| Huge Page / TLB Shootdown | 更大映射粒度的页 / 协调相关 CPU 失效旧转换信息 |
- 同专题基础:进程资源归属,回查地址空间隔离与共享映射;上下文切换,理解切换地址环境的条件。
- 自然后续:缺页、写时复制与 mmap展开访问时的页面准备与映射边界,再读 回收、Swap 与 OOM,分析工作集、计账与资源压力。文件后备对象的身份和引用见 inode 与描述符。
- 跨专题对照:JVM 内存布局,区分语言规范、运行时实现与 OS 统计。
- 依据:Linux 内核文档
mm/page_tables;Linux man-pages 的mmap(2)、proc_pid_maps(5)、proc_pid_smaps(5)、proc_pid_status(5);Pythonmmap文档。Linux 页表抽象层数不等于所有硬件的实际遍历层数。
11. 一句话总结与三个要点
程序获得的是受规则约束的虚拟地址,物理驻留和资源计账必须用各自的证据解释。
- 虚拟地址通过页号找到映射,再用页内偏移定位字节;合法访问还必须满足权限要求。
- TLB 未命中、缺页与数据缓存未命中不同;页大小和页表层数都有平台条件。
- 分配量、映射大小、RSS、PSS 和 cgroup 使用不等价,诊断增长先对齐范围与生命周期。