外观
03 - 镜像为什么越来越大:OverlayFS、镜像分层与写时复制原理
摘要
Dockerfile 里明明删除了 500 MB 安装包,镜像为什么一点没变小?关键在于:容器看见的目录树和镜像保存的历史层不是同一回事。本文先解释镜像层如何组成文件系统,再介绍 OCI 镜像结构、OverlayFS 的写时复制,以及同层清理和多阶段构建的用法。
1. 场景:文件已经删了,镜像为什么仍有 900 MB
团队给一个 40 MB 的应用制作镜像:先下载编译工具和依赖,构建完成后再执行 rm -rf。容器内 du 只看到 120 MB,镜像仓库却显示接近 900 MB。随着版本发布,节点频繁出现 DiskPressure,拉取镜像也越来越慢。
问题在于镜像不是最终目录的压缩包,而是一组不可变 Layer(层)及元数据。后一层删除文件,通常只是记录“这个路径在合并视图里不可见”,前一层的文件内容仍保存在镜像中。
可以先把每一层理解为一次文件系统变更:加入文件、修改文件或删除路径。按顺序应用这些变更,才能得到最终可见的目录树。层一旦成为镜像的一部分,后续构建步骤不会直接改写它;因此,“最终目录里没有这个文件”和“镜像不再保存这个文件的字节”是两个不同的判断。
容器启动后,通常还会在镜像只读层之上增加自己的可写层,用来保存运行期间的文件变更。镜像构建产生的层与容器运行时的可写层,应分开分析。容器内目录占用、仓库中的归档大小和节点实际磁盘占用也有不同统计口径,不能仅凭两项大小差异就认定全部来自被删除的文件。
2. OCI 镜像里到底有什么
OCI(Open Container Initiative,开放容器倡议)定义了镜像和运行时等规范。镜像既需要保存文件,也需要描述这些文件如何组合、程序如何启动。简化后的关系是:
图表将在阅读到此处时加载…
- Tag(标签):人类可读的引用,例如
app:1.4,可以被重新指向其他镜像; - Digest(摘要):根据对象内容计算的标识,用内容定位对象,称为内容寻址;
- Manifest(清单):列出配置对象和按顺序应用的文件系统层;
- Config(配置对象):记录入口程序
Entrypoint、默认命令或参数Cmd、环境变量Env、工作目录和构建历史等; - Layer(层):通常是文件系统差异的压缩归档,而不是完整目录树。
Blob 是按内容保存和传输的数据对象,图中的配置和层都以这种形式存储。Config 中的 rootfs diff IDs 标识解压后的层内容;它与用于分发压缩层的 Digest 要区分。Digest 可以标识清单、配置或层,使用时要明确指的是哪个对象。
多架构镜像还可能先通过 Image Index/Manifest List(镜像索引或清单列表)为 linux/amd64、linux/arm64 等平台选择不同 Manifest。Registry 是保存和分发镜像的仓库服务。具体媒体类型和字段应以所用 OCI/Docker Registry API 版本为准。
3. Dockerfile 指令如何形成层
下面是说明构建顺序的反例片段,不是完整构建示例:example.invalid 是占位地址,片段也没有准备 /src 源码目录。若补齐下载和源码步骤,并让这些步骤成功执行,下载文件会留在历史层:
dockerfile
FROM debian:bookworm-slim
RUN apt-get update
RUN apt-get install -y build-essential curl
RUN curl -L https://example.invalid/source.tar.gz -o /tmp/source.tar.gz
RUN make -C /src
RUN rm -rf /tmp/source.tar.gz /var/lib/apt/lists/* /src最后的清理只能让相应路径从最终视图中消失,不能移除已提交到旧层的字节。另外,这里的 rm 没有卸载 build-essential 和 curl:编译工具仍会出现在最终目录中。临时文件的历史层占用与未移除的工具占用,是两个需要分别处理的问题。
相邻 RUN 是否一定一条指令对应一层,取决于构建器和前端实现,但经典镜像构建中应把会产生大量临时文件的安装与清理放入同一步,或者使用多阶段构建。不要依赖“之后再删”。
4. OverlayFS 如何合并多层目录
镜像层在分发时是归档,运行时则需要提供可供进程访问的目录树。Linux 上常见的容器存储实现会使用 OverlayFS,把多个目录叠加为一个挂载视图;OCI 镜像格式本身并不要求所有运行时都采用 OverlayFS。核心目录包括:
text
lowerdir:一个或多个只读下层
upperdir:当前容器或活动层的可写上层
workdir:OverlayFS 工作目录
merged:进程看到的合并视图图表将在阅读到此处时加载…
同一路径在上层出现时会遮蔽下层。读取优先从高层查找;首次修改一个只存在于 lowerdir 的文件时,OverlayFS 通常需要先 Copy Up 到 upperdir,再修改上层副本,这就是 Copy-on-Write(写时复制)的一部分。
例如,镜像里有 /etc/app.conf,容器只读取它时可以使用下层文件;容器修改它时,变更落在自己的上层副本中,镜像里的文件不会随之改写。merged 是访问入口,不是把所有层重新复制到一起得到的另一份完整目录;workdir 则供 OverlayFS 完成内部操作使用。
Copy Up 的粒度和元数据行为与 Kernel(内核)、底层文件系统、OverlayFS 特性及操作类型有关。对超大文件做少量随机修改,也可能需要复制远多于修改量的数据,这称为写放大。具体表现必须在目标环境验证,不能把写时复制一概理解为“只复制改动的几个字节”。
4.1 删除为什么不释放旧层
镜像层不可变。上层删除下层文件时,会用 Whiteout(删除标记)等机制表达“合并视图中隐藏此路径”。OCI 层归档中的删除记录与 OverlayFS 在本地表示删除的方式需要区分,但二者都不能直接改写旧层内容。下面用一个文件说明结果:
text
Layer 1:加入 big.tar,500 MB
Layer 2:删除 big.tar,只增加删除标记
最终视图:看不到 big.tar
镜像总内容:仍包含 Layer 1 的 500 MB镜像构建工具可能提供压平或重新导出能力,但这会改变缓存、分发和可审计性,不应把它当成默认补救方案。更好的做法是在构建源头避免把无用内容写入最终阶段。
5. 最小实战:比较错误构建和正确构建
需要 Docker 或兼容 Dockerfile 的构建器,并能构建 Linux 镜像。5.1 和 5.2 的 RUN 步骤不访问网络;若要离线构建,需提前准备好 alpine:3.21 基础镜像,并确保构建器不需要联网获取其他依赖。5.3 则需要 Go 项目、相应基础镜像和模块依赖,不能直接当作离线实验。
5.1 反例:下一层再删除
保存为 Dockerfile.bad:
dockerfile
FROM alpine:3.21
# 在一层中创建约 50 MiB、内容不可压缩性有限的测试文件。
RUN dd if=/dev/urandom of=/large.bin bs=1M count=50
# 这里只让文件从最终合并视图消失,上一层仍保存文件内容。
RUN rm /large.bin构建并观察历史:
bash
docker build -f Dockerfile.bad -t layer-demo:bad .
docker image inspect layer-demo:bad --format '{{.Size}}'
docker history layer-demo:bad预期观察:最终目录里没有 /large.bin,但历史中创建它的层仍占用空间。inspect 返回的大小与仓库展示的压缩归档大小不一定采用相同口径;比较时应使用同一构建器和同一种统计方式。
5.2 正例:同一层生成并删除临时文件
保存为 Dockerfile.same-layer:
dockerfile
FROM alpine:3.21
RUN dd if=/dev/urandom of=/large.bin bs=1M count=50 \
&& wc -c /large.bin \
&& rm /large.binbash
docker build -f Dockerfile.same-layer -t layer-demo:same-layer .
docker image inspect layer-demo:same-layer --format '{{.Size}}'预期观察:构建日志中的 wc -c 显示临时文件的字节数,但临时文件不会出现在该步骤提交后的层差异里。因此,同层清理的镜像不需要保存反例中的大文件层。实际构建器可能产生少量元数据差异,不能要求尺寸精确相等,也不能据此认为构建期间不消耗临时磁盘空间。
5.3 正例:多阶段构建只复制产物
多阶段构建把编译环境与运行环境分开。下面的项目需要包含 go.mod、go.sum 和 ./cmd/server,并能在关闭 CGO(Go 调用 C 代码的机制)后构建;产物的目标架构还要与运行镜像匹配。应用若依赖额外配置或资源文件,需要另行提供。
dockerfile
FROM golang:1.24-bookworm AS builder
WORKDIR /src
COPY go.mod go.sum ./
RUN go mod download
COPY . .
RUN CGO_ENABLED=0 go build -trimpath -o /out/server ./cmd/server
FROM gcr.io/distroless/static-debian12:nonroot
COPY --from=builder /out/server /server
USER nonroot:nonroot
ENTRYPOINT ["/server"]AS builder 为编译阶段命名,COPY --from=builder 只把指定产物复制到最终阶段。最终镜像包含运行基础镜像和二进制,不包含编译阶段的 Go 编译器、源码和构建缓存。编译阶段的缓存仍可能占用构建节点磁盘。示例 tag 在正式使用前要核对供应链来源和可用版本,生产环境建议固定可信 Digest。
6. Build Context 也是镜像膨胀来源
执行:
bash
docker build .末尾的 . 是 Build Context(构建上下文)。构建器需要从中读取 COPY、ADD 所需文件。若仓库包含 .git、日志、测试数据、IDE 缓存或密钥,又使用:
dockerfile
COPY . /app这些内容可能进入构建过程甚至最终镜像。构建上下文本身不等于镜像层:是否进入最终镜像,还取决于 COPY、ADD 以及阶段之间复制了哪些文件。缩小上下文既能减少无关输入,也能降低误复制的风险。
可在上下文根目录使用 .dockerignore 排除不需要的文件。下面是示例列表,应按项目调整,避免排除实际需要复制的产物:
text
.git
.idea
node_modules
target
build
*.log
.env.dockerignore 语法和匹配行为与构建器有关,不能完全按 .gitignore 猜测。敏感文件不应仅依赖 ignore 防护:还要使用密钥扫描、最小 Build Context 和构建器的 Secret Mount(在构建步骤中临时提供密钥的挂载机制),避免把密钥作为 ARG 构建参数或普通文件写入层。
7. 为什么镜像大不只是下载慢
镜像越大,在缺少可复用层的节点上,需要传输、解压和保存的数据通常越多,因而可能延长拉取和启动准备时间。它还会影响以下成本,但影响程度取决于层复用、缓存和实际内容:
- Registry 存储和跨区域流量;
- Node(节点)拉取时间和发布速度;
- 节点镜像文件系统使用量;
- 垃圾回收压力与
DiskPressure; - 漏洞扫描范围和供应链审计成本;
- 扩容时新 Node 的预热时间。
但“越小越好”也不是绝对目标。为节省几 MB 删除用于验证 TLS 对端身份的 CA 证书、时区数据或诊断所需元数据,可能造成运行故障。优化应围绕可重复构建、安全和启动链路,而不是只追求排行榜上的数字。
8. 节点磁盘为什么被镜像占满
Node 是 Kubernetes 中承载容器的节点,Kubelet 是节点上负责协调容器运行的组件。同一 Digest 的层通常可以被本节点多个镜像复用,但不同 tag 不保证内容相同。因此,不能简单把所有镜像显示的大小相加,当成节点实际占用。容器可写层、日志、已退出容器、镜像层和临时卷也都可能消耗节点存储。
DiskPressure 表示节点磁盘资源存在压力,并不专指镜像过大。Kubelet 可能通过镜像垃圾回收释放不再使用的内容;资源仍不足时,驱逐策略还可能影响 Pod,也就是 Kubernetes 调度和管理的一组容器。阈值、文件系统划分和统计语义依 Kubernetes 版本及节点配置而异,不能套用统一默认值。
排查应区分:
text
镜像只读层
容器可写层
容器日志
emptyDir 等临时数据
宿主机系统日志
运行时元数据与快照Docker 环境可用 docker system df -v 辅助观察;containerd/Kubernetes 节点应结合 crictl、运行时工具和节点磁盘指标。不要在生产节点直接执行全局 prune,它可能删除仍需快速回滚的镜像,并造成大规模重新拉取。
9. 反例与正例
前面的实验说明了层的机制,下面把它应用到 Debian 系包管理和部署引用中。9.1、9.2 是 Dockerfile 片段,需要支持 apt-get 的基础镜像;9.3、9.4 是容器配置中的 image 字段,不是完整部署清单。
9.1 反例:把包管理缓存留进层里
dockerfile
RUN apt-get update
RUN apt-get install -y curl9.2 正例:安装和清理在同一构建步骤
dockerfile
RUN apt-get update \
&& apt-get install -y --no-install-recommends curl ca-certificates \
&& rm -rf /var/lib/apt/lists/*apt-get update 下载软件包索引,install 按索引安装软件,最后清理索引目录。同一步提交时,已清理的索引不会留在该层中;--no-install-recommends 则减少自动安装的推荐包。将更新与安装放在同一步,还能降低构建缓存复用旧索引、而安装步骤使用变化后的仓库所造成的异常风险。软件版本是否固定、仓库是否可重现,则仍需依赖治理方案。
9.3 反例:用可变 tag 部署
yaml
image: example/order-api:latest9.4 正例:版本 tag 加可信 Digest
yaml
image: registry.example.com/order-api:1.8.3@sha256:请替换为实际摘要这里的摘要是占位符,使用前必须替换为实际构建产物的 Digest,并按项目要求核验来源和签名。固定 Digest 让同一声明解析到同一内容,便于审计和回滚;摘要固定本身不能替代来源可信性验证。
10. 容易踩的坑
10.1 只看容器内 du
du 看到的是合并视图,不会把被上层隐藏的旧层文件按镜像历史完整展示。镜像分析要结合 Manifest、History 和逐层内容。
10.2 盲目增加 --squash
压平可能减小某些镜像,却会降低跨镜像层复用和增量分发能力,也可能改变审计方式。先修 Dockerfile 和多阶段构建。
10.3 把运行日志写进容器可写层
未轮转的大日志会不断扩大可写层。应用应写标准输出或受控卷,并由平台统一采集、轮转。标准输出通常也会被运行时保存为节点日志,因此改变输出位置不能替代轮转和容量管理。
10.4 以为删除 tag 就立即释放空间
Tag 是引用,Blob 是内容;删除一个名字不等于删除它指向的数据。Registry 与节点运行时有各自的引用关系和垃圾回收机制,仍被其他清单、镜像、容器或快照使用的内容不能直接清除。应分别检查仓库对象和节点层、快照的占用。
10.5 为缩小镜像删除运行时必需品
缺少 CA 证书会导致 HTTPS 校验失败,缺少时区数据会改变时间显示,缺少动态库会让进程无法启动。精简必须通过运行测试验证。
11. 总结
镜像优化的关键不是在最后删除文件,而是阻止临时内容进入最终不可变层。
可以带走的三个核心要点:
- 镜像由 Manifest、Config 和不可变 Layer 组成,Tag 可变,Digest 才代表具体内容。
- OverlayFS 用 lowerdir、upperdir 和合并视图提供写时复制;上层删除不会清除下层字节。
- 多阶段构建、最小 Build Context 和可信 Digest 比事后清理更可靠。
下一篇:容器明明在运行,应用为什么还是不可用:容器生命周期与信号处理。