外观
16 - Pod 重建后数据为什么丢了:PV、PVC 与 CSI 存储链路
摘要
文件写进容器里的目录,不代表它能在 Pod 重建后保留。关键是目录背后使用哪种存储,以及存储的生命周期是否独立于 Pod。本文先解释容器可写层、emptyDir 和持久卷的区别,再串起 PV、PVC、StorageClass 与 CSI 的职责,最后沿供给、绑定、附加和挂载各阶段排查问题。
1. 场景:容器里能看到文件,重建后却没有了
应用把上传文件写到 /app/uploads。运行几周一直正常,发布触发 Pod 重建后文件全部消失。
Pod 是 Kubernetes 中运行容器的工作负载单元,Node 是运行 Pod 的节点。在这个场景中,Pod 没有为 /app/uploads 挂载 Volume(卷),数据实际进入容器可写层,也就是容器运行时用于保存文件修改的存储层。它属于具体容器实例,不是持久卷;替换容器或重建 Pod 后,不能依赖它恢复业务文件。
“写入磁盘”必须继续追问:写到哪一块磁盘、由谁管理、生命周期跟谁绑定、是否跨节点可重新挂载。
2. Kubernetes 存储对象分工
先看应用如何访问持久存储:Pod 的 volumes 声明使用哪个卷,容器的 volumeMounts 指定把它挂到哪个路径。使用持久卷时,Pod 引用 PVC,PVC 绑定 PV,PV 描述对应的后端存储。应用仍然读写普通路径,不需要直接操作这些 Kubernetes 对象。
这些对象的分工如下:
- Volume:Pod 中声明的卷;挂载后,容器通过指定路径访问它;
- PVC:PersistentVolumeClaim,持久卷声明,表达所需容量和访问能力;
- PV:PersistentVolume,持久卷,是集群中描述存储资源的对象;
- StorageClass:存储类,定义动态创建存储时使用的供给器、参数和回收策略等;
- CSI:Container Storage Interface,容器存储接口,是 Kubernetes 与存储插件协作的标准接口。
下面区分对象引用关系与插件职责。Controller Plugin 是控制侧插件,Node Plugin 是节点侧插件:
图表将在阅读到此处时加载…
PVC 是请求,PV 是资源描述,两者都不是文件内容本身。后端可能是网络文件系统、云盘、本地卷或其他存储,因此一个 PV 不一定对应一块独占磁盘。StorageClass 和 CSI 负责组织供给与挂载,也不能单凭对象创建成功就证明存储已可用。
3. 常见 Volume 生命周期
3.1 容器可写层
跟随容器生命周期。未挂载卷的路径通常写入这一层,适合可以重新生成的临时文件,不适合业务持久数据。
3.2 emptyDir
emptyDir 在 Pod 被分配到节点时创建,同一个 Pod 内的容器挂载它后可以共享文件。它跟随 Pod,而不是某个容器:容器重启通常不删除卷内文件,但 Pod 离开节点或被删除后,数据就会消失。介质可以是节点磁盘或内存,具体由配置决定。
3.3 hostPath
把 Node 路径挂入 Pod。数据与某个节点绑定,存在权限和安全风险;Pod 调度到别的节点会看到不同内容。除明确的节点级系统组件外,不应把它当通用持久化方案。
3.4 PersistentVolume
生命周期独立于单个 Pod,所以重建 Pod 后可以继续通过同一个 PVC 使用已有存储。但能否换节点挂载、跨可用区使用、创建快照或支持多个写入者,取决于后端。可用区(Zone)是基础设施中的故障隔离区域;“持久”并不等于可以在任意区域访问。
4. 动态供给与绑定
供给(Provision)是准备后端卷并创建对应 PV,绑定(Bind)是建立 PVC 与 PV 的对应关系。已有合适的 PV 时可以绑定现有资源;动态供给则按 PVC 的请求创建新资源。
下面的 PVC 请求 10Gi 存储,使用 standard 存储类和 ReadWriteOnce 访问模式。集群需要存在名为 standard 的 StorageClass,并具备满足请求的供给能力:
yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: data
spec:
accessModes: [ReadWriteOnce]
resources:
requests:
storage: 10Gi
storageClassName: standard动态供给的简化流程如下。API Server 接收并保存资源对象,Provisioner(供给器)观察请求并协调创建存储;供给器创建 PV 后,由绑定控制流程完成 PVC 与 PV 的关联:
图表将在阅读到此处时加载…
PVC 的 Pending 表示尚未完成绑定,Bound 表示已经绑定。StorageClass 的 volumeBindingMode 若使用 WaitForFirstConsumer(等待首个使用者),供给和绑定可能等到使用该 PVC 的 Pod 调度约束已知后再进行。因为卷所在区域会限制 Pod 可运行的位置,先考虑 Pod 的约束可以避免在不合适的 Zone 创建卷。此时 Pending 不一定是故障,应结合 Pod 状态和 Events(资源事件)判断。
5. AccessMode 最容易被误解
AccessMode(访问模式)描述卷支持的节点或 Pod 访问方式,常见模式如下:
- ReadWriteOnce:可被单个节点读写挂载;不必然等于只有一个 Pod;
- ReadOnlyMany:多个节点只读;
- ReadWriteMany:多个节点读写;
- ReadWriteOncePod:限制为单个 Pod,支持情况依 CSI 和 Kubernetes 版本。
ReadWriteOnce(RWO)中的 Once 指单个节点,因此同一节点上的多个 Pod 仍可能使用该卷。若需要单 Pod 限制,应考虑 ReadWriteOncePod,并确认版本及驱动支持。
访问模式不自动提供数据库级并发一致性,也不能替代应用的锁或事务。即使后端支持 ReadWriteMany(RWX),两个应用同时修改同一文件,仍可能覆盖彼此的内容或损坏数据。能否请求某种模式还取决于具体存储后端和驱动。
6. CSI Controller 与 Node Plugin
卷绑定后,还需要让目标节点和容器真正访问它。Attach(附加)通常指让卷可由目标节点访问,Mount(挂载)则让存储出现在可访问的路径中。两步失败的原因不同,所以需要区分控制侧与节点侧职责。
CSI Controller 侧常负责:
- Create/Delete Volume:创建和删除后端卷;
- Controller Publish/Unpublish:通常对应 Attach/Detach,即向节点附加卷或解除附加;
- Snapshot、Expand:快照和扩容等可选能力。
每个节点上的 CSI Node Plugin 常负责:
- Node Stage/Unstage:在需要这一阶段的驱动中,准备或清理节点上的卷暂存位置;
- Node Publish/Unpublish:把卷提供到 Pod 使用的路径,或撤销该路径的挂载;
- 节点能力上报。
并非所有存储都需要 Attach。例如某些网络文件系统直接 Mount。故障阶段要按驱动能力区分。
7. 最小实验:对比 emptyDir 与 PVC
实验需要可操作存储资源的测试集群、kubectl、可用的默认 StorageClass 及相应存储驱动,并且节点能拉取 busybox:1.36。以下命令采用 Bash 语法;使用专用测试命名空间,并确保其中没有同名的 PVC 或 Pod。
将下面的配置保存为 storage-demo.yaml。Pod 同时挂载 PVC 和 emptyDir,因此可以在同一次重建中对照两种生命周期:
yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: storage-demo
spec:
accessModes: [ReadWriteOnce]
resources:
requests: {storage: 1Gi}
---
apiVersion: v1
kind: Pod
metadata:
name: storage-demo
spec:
containers:
- name: app
image: busybox:1.36
command: ["sh", "-c", "sleep 3600"]
volumeMounts:
- {name: persistent, mountPath: /persistent}
- {name: temporary, mountPath: /temporary}
volumes:
- name: persistent
persistentVolumeClaim: {claimName: storage-demo}
- name: temporary
emptyDir: {}此 PVC 没有指定 storageClassName,实验依赖默认 StorageClass 进行动态供给;若没有默认类且没有可匹配的现有 PV,请求会停留在 Pending。应用配置后,先确认 PVC 为 Bound、Pod 已就绪,再执行写入:
bash
kubectl apply -f storage-demo.yaml
kubectl get pvc,pv,pod
kubectl exec storage-demo -- sh -c '
echo persistent > /persistent/value.txt
echo temporary > /temporary/value.txt
'随后只删除 storage-demo Pod,等待它删除完成,再用同一份配置重建;保留 PVC,不要删除整份配置中的资源。新 Pod 就绪后,分别查看两个路径。
预期结果:在 PVC 和后端卷保留、重新挂载成功的条件下,/persistent/value.txt 仍包含 persistent;/temporary/value.txt 不存在,因为新 Pod 获得的是新的 emptyDir。Pod 名称相同不代表它还是原来的 Pod。
删除 PVC 后数据如何处理取决于回收策略和后端。测试前必须确认这些条件,清理时也要区分“删除 Pod”与“删除 PVC”,避免误删真实数据。
8. PVC Pending 如何排查
下面的 PVC 和 POD 是名称占位符,需要替换为实际资源名;命令在资源所在命名空间执行。先查看请求字段和事件,再对照存储类与使用它的 Pod:
bash
kubectl get pvc PVC -o yaml
kubectl describe pvc PVC
kubectl get storageclass
kubectl describe pod POD先确认 PVC 是否需要动态供给、所选 StorageClass 是否存在,以及是否正在等待使用者。如果事件显示供给失败,再检查供给器、后端及请求能力;若 Pod 也无法调度,则一起检查拓扑约束。常见原因如下:
- 没有默认 StorageClass,PVC 又没显式指定;
- Provisioner 不存在或异常;
- 请求的 AccessMode/VolumeMode 不支持;VolumeMode 指卷以文件系统还是原始块设备形式提供;
- StorageClass 参数、配额或凭据错误;
WaitForFirstConsumer正在等待 Pod;- Zone、NodeAffinity(节点亲和性,用于限制或偏好节点)与 Pod 调度约束冲突;
- 后端容量不足。
9. Pod 挂载失败如何分段
Bound 只说明绑定完成。后续还要确认 Pod 能调度到可访问卷的节点、驱动已完成必要的附加和节点准备,以及容器路径正确。对不需要 Attach 的驱动,直接检查节点侧准备和挂载,不要把缺少附加步骤当成故障。
图表将在阅读到此处时加载…
Multi-Attach error 常见于 RWO 块盘仍挂在旧节点,而 Pod 已调度到新节点。强制 Detach 有数据损坏风险,不能在未确认旧节点写入停止前操作。
若节点侧已成功挂载,但应用仍看不到文件,检查 volumeMounts 的路径、subPath(只挂载卷内子路径)和 securityContext(运行身份及安全设置)。路径错误会让应用读到别的目录,身份或权限不匹配则可能导致访问被拒绝;这两类问题不应继续归因于 PVC 绑定。
10. ReclaimPolicy 与数据删除
ReclaimPolicy(回收策略)决定 PVC 释放 PV 后如何处理存储,PV 对应字段为 persistentVolumeReclaimPolicy,常见值为 Delete 或 Retain:
- Delete:PVC 删除并释放卷后,回收流程通常删除 PV 和后端卷;动态供给场景由相应供给器和驱动参与处理;
- Retain:保留后端数据,等待人工处理。
实际删除链路还受 Finalizer、CSI 驱动和云 API 影响。Finalizer 是资源上的清理标记,用来在必要清理完成前延迟对象删除,因此删除请求提交后不一定立即完成。生产数据应有独立备份、快照与恢复演练;Retain 只是保留现有数据,并没有产生一份独立副本。
11. 反例与正例
反例:把数据库数据写 emptyDir
数据库需要在进程和 Pod 重启后恢复状态,而 emptyDir 只保留到当前 Pod 生命周期结束,两者需求不匹配。节点压力下 Pod 还可能被驱逐,也就是被系统从节点上移除,进一步暴露这类风险。
正例:先定义数据语义再选存储
text
是否允许丢失
是否跨 Pod/Node 保留
单写还是多写
延迟与吞吐要求
Zone 故障是否可恢复
快照、备份、加密和恢复目标Kubernetes 存储抽象不能替业务回答这些问题。
12. 容易踩的坑
12.1 PVC Bound 就认为数据安全
绑定后还要检查 Pod 是否挂载成功,并独立验证备份、复制和恢复能力;这些能力不会由 Bound 状态证明。
12.2 RWO 等于单 Pod
需要避免多个 Pod 竞争写入时,先区分单节点挂载与单 Pod 访问,再确认访问模式、驱动支持及应用并发控制是否满足要求。
12.3 使用 hostPath 做高可用存储
它暴露的是当前节点的目录。Pod 换节点后不能据此访问原节点的数据,而且容器获得宿主机路径访问能力后,权限配置错误可能影响节点上的其他文件。
12.4 强制删除卡住的 VolumeAttachment
VolumeAttachment 是记录卷与节点附加关系的 Kubernetes 对象,删除它不能作为旧节点已经停止写入的证据。强制处理前应确认旧节点和后端状态,否则可能造成双写或文件系统损坏。
12.5 快照等于备份
快照与源卷若处于同一故障域或同一账号,可能一起受影响。还要确认快照中的文件是否构成应用可恢复的一致状态,并验证能否在目标恢复环境中使用。
13. 总结
持久化需要让数据生命周期独立于 Pod,并打通供给、绑定、调度、附加、挂载和恢复的整条链路。
可以带走的三个核心要点:
- 容器可写层和 emptyDir 都不跟随 Pod 永久保存,持久数据应使用符合语义的外部存储。
- PVC Pending 要区分等待消费者、供给失败和拓扑冲突;Bound 之后仍可能在 Attach/Mount 阶段失败。
- AccessMode、ReclaimPolicy 和快照都不是数据安全的充分条件,必须有备份与恢复演练。
下一篇:ConfigMap 已更新,应用为什么还是旧配置。