外观
08 - 第一次访问内存为什么可能变慢:缺页、写时复制与 mmap
摘要
内存已经申请成功,第一次读写为什么还可能停顿?文件映射后为何不需要逐次 read,却仍可能等待 I/O?本文沿地址访问拆开缺页、按需准备、写时复制与文件映射,给出可运行的映射读写对照,讲清权限、生命周期和性能边界,为内存与存储排障建立因果链。
阅读指引
- 前置阅读:虚拟地址、分页与 TLB,理解页表、权限、驻留以及 TLB miss 与缺页的区别。
- 本文定位:分析一次访问为什么需要内核处理,解释 COW 和 mmap 的使用边界;回收与 OOM 见 下一篇,文件身份见 文件与描述符。
- 适用范围:底层原理以 Linux 为主,Python 映射示例要求 Python 3.8+,可在常见 Linux、macOS、Windows 环境运行。页大小、文件系统、映射选项与运行库会影响行为。
- 示例范围:只使用独立临时目录和基础页大小的文件,不清系统缓存、不截断正在映射的文件、不制造访问错误信号。示例对照映射的数据行为;实际缺页次数、I/O 与访问延迟需在目标环境测量。
1. 场景:初始化已经结束,第一批请求却更慢
设想服务启动时准备一个大数组,日志显示初始化完成。第一次真正写入各区域时,延迟却出现波动;另一个服务用 mmap 打开索引文件,认为“没有 read 系统调用,所以读请求不会再等磁盘”。
两者都把“地址可用”当成“访问所需状态已经全部准备好”。程序使用的是虚拟地址,系统按页管理这些地址,并用页表记录它们与物理内存的映射及访问权限。获得一段地址范围,不代表其中每一页都已驻留,也就是已经在物理内存中。
如果页面或映射按需准备,实际读写时才可能需要分配页面、恢复映射、准备私有副本,或者取得文件数据。应用看起来只执行了一次内存访问,背后却可能多出这些工作,因此首次访问会变慢。
排查时先区分:
- 是否真的发生了缺页,而不只是 TLB 或数据缓存未命中?
- 缺页原因是按需准备、私有写入、文件数据还是保护错误?
- 慢在页面准备、I/O、回收,还是唤醒后的调度?
“首次访问慢”是现象,不是单一根因。
2. 缺页全景:从异常到恢复,可能走哪些分支
Page Fault,即缺页异常,是内存访问因映射未就绪或保护问题而需要内核处理的事件。先看正常的按需准备路径:地址区域允许此次访问,但对应页面尚未准备好;内核准备页面并更新映射后,程序可以继续访问。这种按访问需要准备页面的方式称为 Demand Paging,即按需分页。
如果地址本身不合法,或访问违反了区域权限,内核就不能按正常缺页恢复。因此,缺页既可能是正常内存管理的一部分,也可能通向错误;它不一定说明内存不够。
图表将在阅读到此处时加载…
图中列的是主要处理方向,不是具体内核函数的调用顺序。一次处理可能涉及多个方向;资源不足、文件错误和并发映射变化都可能让恢复失败。
匿名内存不以普通文件内容作为初始化来源,堆、栈和部分匿名映射属于这一类。文件映射则以文件提供后备数据。Swap 是为可换出页面保存内容的交换空间及相关机制;页面被换出后,再访问它可能需要恢复原内容。写时复制(COW)用于隔离私有写入,第 3 节会展开说明。
| 原因 | 为什么现在需要处理 | 典型边界 |
|---|---|---|
| 匿名范围首次使用 | 映射范围存在,但相应页面或页表状态尚未准备 | 初次读与初次写可能走不同路径 |
| 文件映射页未就绪 | 需要取得相应文件数据并建立适用映射 | 数据可能已在 Page Cache,也可能需要 I/O |
| 已换出页面被访问 | 原有内容需要恢复 | 是否发生磁盘 I/O 取决于 Swap 后端及缓存路径 |
| 私有页面被写入 | 需要维持写入者与其他使用者的隔离 | COW 不等于每次写都复制一页 |
| 地址不合法或权限不符 | 不满足区域或保护条件 | Linux 可能报告 SIGSEGV 或其他适用错误 |
| 文件映射背后的对象不满足访问 | 如文件被截断后访问不再有有效后备的页面 | 可能 SIGBUS,不能假定 Python 的 try/except 一定能安全恢复 |
Page Cache,即页缓存,是内核缓存文件数据的内存。文件页缺页不必然读磁盘:数据若已缓存,仍可能需要建立当前进程的映射。
Linux 中,SIGSEGV 是常见的非法地址或访问保护错误信号;SIGBUS 可与文件映射后备对象等问题有关。信号表示访问无法正常继续,具体原因仍要结合地址、权限和后备对象判断。TLB 是地址转换缓存,缓存未命中后若能从页表取得有效映射,就不必发生缺页;缺页后若数据已在内存,也不必读取磁盘。
2.1 Minor 与 Major 是处理口径,不是“轻错与重错”
Linux getrusage 中,Minor Fault,即次缺页,表示服务该缺页不需要相应 I/O 活动;Major Fault,即主缺页,表示服务该缺页需要 I/O 活动。
它们不是业务严重程度,也不对应固定延迟:一次 minor 仍可能需要页面分配、复制、锁和回收相关工作;major 也不是“必定从某块物理磁盘读了 4 KiB”。缓存、Swap 后端、预读和页大小都会改变实际路径。
ru_minflt、ru_majflt 分别是次缺页和主缺页的累计计数,要比较同一统计范围、同一时间窗口的增量。它们不能直接解释为每条请求的缺页,也不能简单乘一个“平均缺页成本”推算 P99(99% 的请求延迟不超过的值)。
2.2 为什么普通首次读写可能不同
部分匿名内存首次读取可使用共享零页(Zero Page):多个映射共享全零内容,避免立即为每个映射准备独立页面。写入需要保存自己的修改,因而需要可写的私有页面;具体策略依架构、页大小与内核实现。运行库还可能复用已经读写过的区域,或主动清零、预触碰,也就是提前访问页面。
所以不能把 malloc、bytearray、Java new 和匿名 mmap 都描述为“只划地址,第一次写才统一分配”。高级语言对初始化值、对象布局和分配器的要求会带来不同准备过程。
反例:“申请接口返回成功,后面的内存访问就不可能再失败。”
正例:分别检查地址与权限、实际页面准备、资源预算以及使用对象的生命周期。
3. 写时复制 COW:共享读,私有写
Copy-on-Write,即写时复制,允许多个使用者先共享同一份内容,在需要隔离写入时再准备独立副本。它延后了复制成本,同时保证私有修改不会改变其他使用者应看到的内容。
3.1 fork 后普通私有内存怎样保持隔离
fork 用于创建子进程。Linux fork 后,父子进程拥有各自的普通地址空间,但部分私有页面可以先映射到同一份底层内容。内核通过写保护等状态控制修改:需要隔离的写入先触发处理,不能直接改掉双方共享的内容。
text
fork 后,尚未发生私有写入:
父进程虚拟页 ─┐
├──→ 原有底层页面
子进程虚拟页 ─┘
子进程执行需要隔离的写入后:
父进程虚拟页 ───→ 父进程对应内容
子进程虚拟页 ───→ 子进程可写的独立内容因此,fork 不必立刻复制全部私有页面,但也不是完全没有额外内存成本:页表和进程管理结构需要空间,后续私有写入还可能增加驻留内存及资源计账。复制粒度受基础页和大页等实现条件影响,不能固定为“每次只复制 4 KiB”。大页是使用更大粒度管理映射的机制。
共享映射不遵循普通私有页的同一隔离语义;父子继承的文件描述符还可能共享打开状态。具体创建与继承先回查 fork 与 exec。
3.2 COW 发生在私有写入边界,不是每次写都复制
text
子进程首次需要私有写入:
访问触发处理 → 检查私有映射与页面状态
→ 需要保留其他使用者的原内容时,准备独立页并复制
→ 更新子进程映射与权限 → 重试该写入
随后:父虚拟页 → 原内容;子虚拟页 → 自己修改后的内容上述流程以仍需为其他使用者保留原内容为前提。如果页面已不再共享,某些路径可以复用页面并调整权限,不必复制;大页、零页和后备对象也会改变处理路径。已经获得私有可写页面后,重复写入通常直接修改自己的内容,不会仅仅因为使用了 COW 就再次复制整页。
fork 前的共享映射不是同一规则,父子针对它仍可能看到共享更新;程序也可能在 fork 后访问新分配区域,而非旧页的 COW。诊断应核对私有映射、写入分布和同窗口驻留,而不是把全部内存增长都叫复制。
3.3 MAP_PRIVATE 不等于文件的永久快照
MAP_PRIVATE,即私有文件映射,通常对映射者的修改提供私有写时复制语义:修改不回写给原文件,也不作为修改结果传播给其他映射者。
但这不保证“映射创建后别人怎样改原文件,都永远看不到变化”。Linux/POSIX 对映射后文件变化的可见性有特定或未指定边界,应遵守接口契约,不把 MAP_PRIVATE 当通用快照系统。
稳定快照需要稳定的文件版本、只读不可变对象、受控发布或其他明确协议。普通私有映射保护的是自己的修改路径,不自动冻结所有外部输入。
4. mmap 的本质:把对象映射进地址空间,不是把文件全部搬进堆
mmap 是内存映射接口,把文件或匿名对象的一段范围映射到进程地址空间。以文件映射为例,应用通过映射地址访问文件数据,不必为每次访问显式调用 read;但建立映射不等于已经把整个文件读进内存。访问某页时仍可能缺页,并需要取得文件数据。
写入映射后的处理取决于共享或私有模式。尚需回写的修改称为脏数据;共享修改的可见性、回写和持久化是不同问题。
| 方式 | 应用访问路径 | 仍需负责的事 |
|---|---|---|
| 常规缓冲 read/write | 通过接口在应用缓冲与内核等层之间交付数据 | 短读短写、偏移、错误、同步与生命周期 |
| 文件映射 | 通过映射地址访问文件后备页面 | 缺页、边界、并发修改、同步与解除映射 |
| 匿名映射 | 通过映射地址使用不由普通文件内容初始化的空间 | 共享/私有选择、实际驻留、预算与释放 |
内核接口的映射偏移通常有页对齐要求;Windows Python mmap 的偏移还有分配粒度条件,不能直接照搬一种系统的偏移常量。示例从偏移零开始,避开不必要的平台差异。
4.1 共享写、私有写与只读不是同一个开关
- MAP_SHARED / 共享写映射:修改可通过相应映射对象传播,文件后备映射的写入会影响文件;可见不等于已经持久化。
- MAP_PRIVATE / 私有写映射:自身修改不回写文件;需要独立修改状态时有内存成本。
- 只读映射:不允许通过该映射写入;不自动阻止其他合法写入者修改后备对象。
Python 的 ACCESS_READ、ACCESS_WRITE、ACCESS_COPY 分别表达常见只读、写入后备文件、私有复制写入模式。它们便于跨平台示例,但不替代所有底层 flags 与权限条件。
共享内存不是自动同步协议:多个线程或进程更新相同字段,仍要考虑原子性、内存顺序、布局与生命周期。相关机制见 原子操作、自旋与 futex。
4.2 页对齐、文件长度与映射长度是三个边界
| 边界 | 含义 | 容易踩的坑 |
|---|---|---|
| 映射偏移对齐 | 内核 mmap 的文件偏移需满足相应页对齐;高级库/平台另有要求 | 把任意业务记录位置直接当底层 offset |
| 映射地址范围 | 只有映射许可范围内的访问才可能合法 | 以为文件足够长就可越过映射尾部 |
| 文件逻辑长度 | 后备文件实际提供的内容范围 | 以为映射长度足够大,后备内容就自动存在 |
Linux 对文件末尾不足一页的剩余区间有零填充等规则,对完全超出文件末尾的页访问可能产生 SIGBUS;末页剩余区间也不能当可安全保存业务数据的空间。映射后文件大小被改变的影响有接口规定及未指定边界,不能依赖“Python 捕获异常”避免所有底层访问风险。
最小示例先建好完整的一页文件,从偏移零映射,运行期间不截断。真实工程用稳定版本与读者生命周期管理后备文件;不在生产做并发截断实验。依据:mmap(2) 的偏移、末页与 SIGBUS。
4.3 映射与文件描述符有不同生命周期
文件描述符是进程访问已打开文件等对象的句柄。Linux mmap 成功后,关闭原文件描述符不会自动撤销映射;映射本身仍持有后备对象的引用。munmap 用于解除相应地址范围的映射。
高级库可能复制或跟踪描述符,平台也有不同限制,因此应用应显式关闭映射和文件对象,不能凭“我 close 过文件了”推断映射已释放。Python 若仍有导出的 memoryview 等引用,还会有自己的关闭约束。
5. 可运行实战:同一文件的只读、私有写与共享写对照
将下面保存为 file_mapping_demo.py,运行 python3 file_mapping_demo.py。文件只有一个基础页,在独立临时目录中创建;不修改真实日志或索引,也不在映射存活时截断文件。
python
import mmap
from pathlib import Path
import tempfile
def main():
with tempfile.TemporaryDirectory(prefix="file-mapping-demo-") as directory:
path = Path(directory) / "data.bin"
length = mmap.PAGESIZE
path.write_bytes(b"A" * length) # 先写完并关闭,避免用户态缓冲未交付。
with path.open("rb") as source:
with mmap.mmap(source.fileno(), length, access=mmap.ACCESS_READ) as region:
assert region[0] == ord("A")
try:
region[0] = ord("R")
except TypeError:
pass
else:
raise AssertionError("只读映射不应允许写入")
with path.open("rb") as source:
with mmap.mmap(source.fileno(), length, access=mmap.ACCESS_COPY) as region:
region[0] = ord("P") # 修改映射自己的内容,不写回原文件。
assert region[0] == ord("P")
assert path.read_bytes()[0] == ord("A")
print("private write: mapping=P, file=A")
with path.open("r+b") as source:
with mmap.mmap(source.fileno(), length, access=mmap.ACCESS_WRITE) as region:
region[0] = ord("S")
region.flush() # 明确交付映射修改;不是崩溃持久化实验。
assert path.read_bytes()[0] == ord("S")
assert path.stat().st_size == length
print("shared write: file=S")
print("read-only and cleanup checks passed")
if __name__ == "__main__":
main()预期行为是:只读写入被拒绝,私有写的映射内容变成 P 而文件仍为 A,共享写后通过文件接口读到 S。断言全部通过时,预期输出为:
text
private write: mapping=P, file=A
shared write: file=S
read-only and cleanup checks passed这些断言检查的是接口数据行为,不能据此计算物理页面复制次数,也不能证明断电后仍能恢复该字节。
mmap.flush()、文件对象 flush() 与 fsync 所在层不同。Page Cache 与持久化分别解释其职责;不因为一个方法名叫 flush,就宣称文件内容、目录变更和设备缓存的所有耐久性要求已经满足。
6. 性能取舍:mmap 什么时候值得用
mmap 可以减少某些显式读取与应用缓冲复制路径,让应用按地址处理数据。但创建和解除映射、缺页、页表管理、COW 以及应用自行复制仍有成本,因此不能统一宣称“零拷贝、零系统调用、永远更快”。
比较性能时,工作集指一段时间内实际反复使用的数据范围;冷热状态描述所需数据是否已在缓存或内存中。两者决定了按地址访问时还需要多少页面准备和 I/O,不能只比较接口形式。
| 场景 | 可能收益 | 必须验证的边界 |
|---|---|---|
| 只读、稳定的大文件随机访问 | 按地址定位,按需准备访问区域 | 冷热分布、缺页、工作集与长尾 |
| 连续流式读取 | 可与常规 read 比较实现简洁度和成本 | read 的缓冲、批量与预读可能已经很有效 |
| 大量私有修改 | 保留文件原内容并修改私有视图 | COW 扩大驻留,写入分布决定成本 |
| 多进程共享区域 | 避免用消息重复传完整数据 | 一致性、布局、同步与崩溃恢复 |
| 文件会被并发截断或原地更新 | 地址访问接口看起来方便 | 访问安全和版本协议,不能只比较吞吐 |
测试至少固定文件大小、访问顺序、冷热状态、内存限制、页大小和并发度,验收内容与错误路径。不要在线上通过 drop_caches 制造冷数据来“验证 mmap”,这会影响其他服务并改变整个系统状态。
预触碰可以把部分首次访问成本前移,但会增加启动工作和驻留,并不能保证后续页面永远不被回收。预热是成本与风险转移,不是免费消除缺页。
7. 排障:缺页上升后该看什么
下面的命令用于 Linux,pidstat 需要环境中已有 sysstat 工具,/proc 信息还受权限和内核配置影响。先确认目标进程 PID(进程标识),再在同一采样窗口观察缺页、驻留和请求延迟。
bash
# Linux / sysstat:只读有限采样;12345 换成已确认目标 PID。
target_pid=12345
pidstat -r -p "$target_pid" 1 3
# 查看映射和当前驻留口径,不导出物理页号。
head -n 20 "/proc/$target_pid/maps"
grep -E '^(VmSize|VmRSS|RssAnon|RssFile|RssShmem|VmSwap):' "/proc/$target_pid/status"pidstat 字段依工具版本,以实际帮助为准。进程缺页与 RSS 都是范围内证据,不等同于业务请求指标;短采样可能错过突发,累计计数也可能混入启动过程。
RSS 是进程的驻留集大小,PSS 则按共享者比例分摊共享页面;cgroup 是 Linux 对一组任务进行资源计账和控制的机制。这些统计范围不同,诊断 fork 后的内存增长时应分别比较,不能把它们直接相加。maps 列出地址映射,status 的字段给出相应内存统计,它们都不能单独证明某条请求慢在缺页处理。
| 现象 | 应补的证据 | 不足以成立的结论 |
|---|---|---|
| 启动后首次写入慢 | 初始化接口、触碰范围、minor 增量与分配路径 | 所有时间都花在复制内存 |
| 文件访问伴随 major 增长 | 文件映射、I/O、缓存与同窗口时延 | 每次主缺页都来自同一块磁盘 |
| fork 后内存明显增加 | 私有写范围、驻留/PSS 与 cgroup 计账 | fork 会立刻复制所有页面 |
| 映射读出现 SIGBUS | 文件大小变更、访问范围、后备对象错误 | 一定是 Java 堆不够 |
| 缺页与回收同时增多 | 实际工作集、压力、Swap 与限制 | 只要增加预热就能解决 |
下一篇 回收、Swap 与 OOM解释“页面准备为何被资源压力拖慢”。文件版本发布、unlink 和打开引用则见 inode 与描述符。
8. 容易踩的坑
- 反例:把 TLB miss、缺页和磁盘读当同一事件。正例:按转换、页面准备和后备 I/O 分层。 三者没有固定一一对应关系。
- 反例:MAP_PRIVATE 等于永久文件快照。正例:用不可变版本或受控发布保证输入稳定。 私有修改隔离不冻结外部写入。
- 反例:mmap 没 read,所以不会阻塞。正例:把缺页和 I/O 计入访问路径。 隐式等待仍是等待。
- 反例:映射存活时随意截断文件。正例:明确读者生命周期与文件版本。 Python 级越界检查不能防住全部后备对象变化。
- 反例:预触碰越多越好。正例:在启动、驻留和后续访问预算间取舍。 热身过量也可能引入回收和 OOM 风险。
9. 名词解释与延伸阅读
| 名词 | 简短解释 |
|---|---|
| Page Fault / Minor / Major | 需处理映射或保护的异常 / 相应处理不需 I/O / 相应处理需 I/O 的计数口径 |
| Demand Paging / Zero Page | 访问需要时准备页面 / 部分匿名读取可用的零内容共享优化 |
| COW | 在需要私有写入时准备独立状态,不是每次写都复制 |
| mmap / munmap | 建立 / 撤销相应虚拟地址映射 |
| MAP_SHARED / MAP_PRIVATE | 共享修改语义 / 对自身修改的私有语义 |
| Page Cache / Prefault | 内核文件数据缓存 / 提前触发部分页面准备 |
| SIGSEGV / SIGBUS | Linux 中适用的访问保护或地址错误信号 / 后备对象或总线等问题信号,需结合原因 |
- 同专题前后:分页与 TLB解释访问前提,回收与 OOM解释资源压力,文件描述符解释后备对象引用。
- 跨专题应用:JVM 对象创建与分配,把 OS 页面准备与 Java 对象初始化、分配器职责分开。
- 依据:Linux man-pages
mmap(2)、getrusage(2)、fork(2),Linux 内核mm/page_tables和内存概念文档;Python 标准库mmap。映射数据行为与物理页计数应分别验证。
10. 一句话总结与三个要点
地址已经建立,不代表页面已准备好;访问成本要沿缺页、私有写入、后备数据与资源压力逐层解释。
- 缺页有正常与错误路径,minor/major 是处理口径,不是固定延迟或故障等级。
- COW 延后适用的私有写入成本,MAP_PRIVATE 不提供永久文件快照。
- mmap 改变访问接口而不消除 I/O、同步和生命周期,性能与持久化必须单独验收。