外观
19 - StatefulSet 不只是“有状态 Deployment”:稳定身份、存储与有序更新
摘要
数据库 Pod 重建后名字没变,为什么仍然无法加入集群?StatefulSet 管理的是每个副本的稳定身份:名称、网络地址和存储声明之间的对应关系。数据库如何复制数据、决定谁能写入、恢复成员关系,则由应用协议负责。理解这两层职责,才能判断重建、扩缩容和升级是否安全。
1. 场景:Pod 名字恢复了,数据角色却没有恢复
考虑一个由 StatefulSet 部署三个有状态节点的场景。Pod 是 Kubernetes 调度和运行容器的基本单位,这三个 Pod 分别叫:
text
store-0
store-1
store-2假设 store-1 所在节点故障后,Pod 在新节点重建,名称仍是 store-1,原 PVC(PersistentVolumeClaim,持久卷声明)对应的存储也重新挂载。但服务启动后拒绝加入集群:磁盘中的成员 ID、配置中的对端地址和应用集群记录不一致。成员 ID 是应用用于识别成员的标识,不一定等于 Pod 名称。
名称与磁盘恢复,只能让应用找到自己的旧状态;如果其他成员已经将它移除,旧状态就不能直接证明它仍有加入或写入的资格。StatefulSet 不知道 store-1 应该是主节点、从节点还是已被共识组移除的旧成员。共识组是通过协议共同决定状态的成员集合,成员的加入、退出和角色变化仍由应用负责。
2. StatefulSet 提供哪三类稳定性
可以把 StatefulSet 理解为维护一组有编号的副本。某个 Pod 消失后,控制器按同一编号重建它,并让它继续使用对应的网络身份和 PVC。稳定的是这些对应关系,不是原来的进程、Pod IP 或数据库角色。
2.1 稳定序号
副本名称通常为:
text
<statefulset-name>-<ordinal>ordinal 表示副本序号。按从 0 开始的常见配置,扩容到 3 个副本得到 store-0、store-1、store-2;缩容通常从最大序号开始删除。应用可以利用这个编号区分成员,但不能仅凭编号认定谁是主节点。
2.2 稳定网络身份
Headless Service(无头服务)用于通过 DNS 发现后端 Pod,而不是提供统一的虚拟 IP。结合它,Pod 可获得类似的 DNS 名称:
text
store-0.store-headless.namespace.svc.cluster-domain这里的 namespace、cluster-domain 分别代表实际命名空间和集群 DNS 域。Pod IP 可以变化,DNS 名称保持与序号绑定,因此对端可以通过名称查找成员当前的地址。不过,名称稳定不等于随时都能解析或连接:DNS 缓存和是否发布未就绪 Pod 的地址,会影响成员发现时机。
2.3 稳定存储声明
PVC 声明所需存储,PV(PersistentVolume,持久卷)代表供它绑定的存储资源。volumeClaimTemplates 是 PVC 模板;StatefulSet 按模板为每个序号创建独立 PVC。模板名为 data 时,例如:
text
data-store-0
data-store-1
data-store-2Pod 重建后继续引用同一 PVC,因此容器生命周期结束并不意味着这份存储随之消失。这也不代表三个副本共享同一份数据:它们各自使用独立 PVC,数据复制需要应用实现。缩容或删除 StatefulSet 时 PVC 是否删除,取决于保留策略、版本和显式操作,不能假设一定自动清理。
3. 为什么需要 Headless Service
常见的普通 ClusterIP Service 提供一个虚拟 IP,并把连接分发到后端。这样的入口适合访问一组可替换的服务副本;有状态成员之间的通信往往需要找到特定节点,例如向指定副本同步数据,因此需要能区分成员的发现方式。
下面的 clusterIP: None 将 Service 配置为无头服务,selector 用标签选择后端 Pod:
yaml
apiVersion: v1
kind: Service
metadata:
name: store-headless
spec:
clusterIP: None
selector:
app: store
ports:
- {name: peer, port: 7000}图表将在阅读到此处时加载…
图中 Service 的 DNS 名称用于发现后端地址,成员自己的 DNS 名称则指向特定 Pod。第 4 节的 serviceName: store-headless 将 StatefulSet 与这个 Service 关联。Headless Service 只提供发现信息,不负责选主、仲裁或客户端读写的一致性;仲裁是应用判断哪些成员足以作出有效决定的过程。
4. 最小 StatefulSet
下面用 BusyBox 容器观察身份与存储的对应关系,不实现数据库复制。容器每次启动时将自己的主机名追加到 /data/identity.log,然后休眠;volumeMounts 把名为 data 的卷挂载到 /data,对应下方的 PVC 模板。
yaml
apiVersion: apps/v1
kind: StatefulSet
metadata:
name: store
spec:
serviceName: store-headless
replicas: 3
selector:
matchLabels: {app: store}
template:
metadata:
labels: {app: store}
spec:
containers:
- name: app
image: busybox:1.36
command:
- sh
- -c
- |
echo "pod=$HOSTNAME" >> /data/identity.log
sleep 3600
volumeMounts:
- {name: data, mountPath: /data}
volumeClaimTemplates:
- metadata: {name: data}
spec:
accessModes: [ReadWriteOnce]
resources:
requests: {storage: 1Gi}实验需要可用的测试集群、kubectl、可拉取的 busybox:1.36 镜像,以及能够供应存储的默认 StorageClass。StorageClass 描述存储供应方式;此配置没有指定 storageClassName,因此依赖默认类。ReadWriteOnce 表示卷可由单个节点以读写方式挂载,不应把它理解为数据库的单写者协议。
将第 3 节的 Service 和本节的 StatefulSet 保存到同一个 store.yaml,用 --- 分隔两个 YAML 文档,所有操作使用同一测试命名空间。下面是观察顺序,不是应一次执行完的脚本:-w 会持续观察,需要在另一个终端执行后续命令,或结束观察后继续。标签筛选显示匹配的 Pod/PVC;若要确认存储声明,应另外按第 2.3 节的名称查看 PVC,不能仅凭筛选结果判断 PVC 不存在。
bash
kubectl apply -f store.yaml
kubectl get pod,pvc -l app=store -w
kubectl exec store-1 -- cat /data/identity.log
kubectl delete pod store-1
kubectl exec store-1 -- cat /data/identity.log第一次读取前等待 store-1 启动并可执行命令;删除后还需等待旧 Pod 终止、同名新 Pod 创建并完成挂载,再执行最后一次读取。
预期结果:第一次读取可见 pod=store-1;若 PVC 和原有数据仍在,重建后的读取应看到启动时追加的同名记录。这说明新进程继续使用对应存储,并不证明数据库恢复或故障切换成功。容器休眠结束后的再次启动也会追加记录,因此记录行数不能单独用于判定 Pod 重建次数。存储后端若不支持在新节点重新 Attach(将卷附接到节点),Pod 可能卡在挂载阶段。
5. OrderedReady 与 Parallel
podManagementPolicy 控制副本管理顺序。默认的 OrderedReady 在创建时等待较小序号的 Pod 达到 Ready(就绪)后再创建下一实例,缩容删除时反向处理。这样可以给有启动顺序要求的应用留出准备时间,但如果前面的 Pod 一直无法就绪,后续实例也会被阻塞。
yaml
podManagementPolicy: Parallel上面是 StatefulSet spec 下的配置片段。Parallel 允许扩缩容时并行创建或删除 Pod,减少顺序等待,但应用必须能处理成员同时出现和同时恢复。它不改变稳定身份;滚动升级的推进方式还要看 updateStrategy,不能把并行副本管理理解为并行升级。
具体默认行为和边界应以目标 Kubernetes 版本文档为准。
6. 滚动更新与 Partition
RollingUpdate 是滚动更新策略,通常按序号从大到小替换 Pod,并等待新 Pod 就绪后继续。partition 是更新的序号边界:只有序号大于等于该值的实例参与更新。下面也是 StatefulSet spec 下的配置片段:
yaml
updateStrategy:
type: RollingUpdate
rollingUpdate:
partition: 2对从 0 开始的三个副本,partition: 2 允许先更新 store-2,观察新版本后再降低边界、逐步推进。它按序号选择副本,不会识别哪个成员当前是主节点。
但数据库兼容性不能只看 Pod Ready:
- 新旧版本协议能否混跑;
- 磁盘格式是否向后兼容;
- Leader(领导者)或 Primary(主节点)是否应最后更新;
- 副本追赶完成前能否接读写;
- 回滚旧二进制能否读取新数据格式。
7. 扩缩容为何不能只改 replicas
replicas 只描述期望的 Pod 数量。扩容共识或分片系统通常还要执行成员加入、数据同步和再平衡;分片是将数据拆分到不同成员,再平衡是重新分配数据或负载。Pod 出现不等于这些工作已经完成,也不等于成员可以立即接收读写。
缩容时,StatefulSet 通常删除最大序号 Pod,但应用可能仍把它视为投票成员。这样即使剩余 Pod 都在运行,应用也可能因有效票数不足而无法继续服务。正确顺序通常是:
text
从应用成员关系安全移除
→ 等待数据迁移或仲裁稳定
→ 缩减 StatefulSet
→ 按策略处理 PVC具体步骤由数据库/中间件决定,Kubernetes 无法通用推导。
8. 故障恢复中的“旧身份”风险
网络分区是节点之间无法正常通信,并不意味着节点上的进程已经停止。若旧实例仍在写入,新节点又以同一成员身份恢复副本,就可能出现两个实例都认为自己有写入资格的双主或脑裂。
块存储的 Attach/Detach(附接与分离)决定卷能否交给新节点;应用的 Fencing(隔离机制)则用于阻止旧实例继续进行有效写入,隔离令牌是实现方式之一。存储交接与应用隔离共同决定恢复安全性,不能仅凭控制面中旧 Pod 已删除,就认定旧进程失去了写入能力。
强制删除 Pod、强制 Detach 卷或跳过仲裁恢复都属于高风险动作。必须先证明旧实例无法继续写,并遵循产品恢复手册。
9. 排查顺序
按“Pod 创建 → 存储 → 网络发现 → 应用成员”的顺序检查,可以先确认应用是否具备启动条件,再分析协议状态,避免一开始就把所有问题归因于数据库。
图表将在阅读到此处时加载…
图中的 Controller 是 StatefulSet 控制器;Bound 表示 PVC 已绑定到 PV,Mounted 表示存储已挂载到容器,两者不是同一阶段。Zone 是可用区,存储的可用区约束可能限制 Pod 调度位置;Selector 是标签选择条件,CoreDNS 是集群中常用的 DNS 服务。即使这些基础条件都满足,应用仍可能因成员 ID 不一致、数据尚未追赶完成或版本不兼容而拒绝服务。
10. 反例与正例
反例:把三个独立单机数据库放进 StatefulSet
三个实例各自保存数据,却没有复制和成员协议时,稳定名称只能帮助找到它们,不能让另一个实例自动拥有故障实例的数据,也不能决定故障后由谁接管写入。
正例:先明确应用级状态机
text
成员如何加入和退出
数据如何复制
谁能写
如何 Fencing
如何备份恢复
升级和回滚是否兼容应用级状态机描述成员在加入、同步、服务和退出等状态之间如何转换。先明确这些转换的条件,再用 StatefulSet 承载稳定身份和存储,才能把 Pod 操作与应用的安全步骤对应起来。
11. 容易踩的坑
11.1 Pod 名稳定等于角色稳定
除非应用明确规定角色与序号的映射,否则不能把 store-0 当作永久主节点;选主协议可能已将领导者切换到其他成员。
11.2 PVC 稳定等于数据可靠
稳定引用同一个卷,不能防止卷损坏或误删。若副本存储都处于同一故障域,一次故障仍可能同时影响它们;故障域是可能被同一事件影响的资源范围。数据保护还需要备份和恢复演练。
11.3 直接缩容共识集群
先删除 Pod、后处理成员关系,可能导致有效票数不足,或留下仍在应用记录中却已不运行的“幽灵成员”。
11.4 OrderedReady 永远更安全
若成员必须相互发现后才能就绪,顺序等待可能妨碍启动;选择顺序还是并行管理,应依据应用启动协议。
11.5 强制删除解决挂载卡住
挂载卡住可能是在等待旧节点释放卷。绕过等待前,需要确认旧实例无法继续写入,并按产品恢复手册完成隔离和存储交接。
12. 总结
StatefulSet 提供稳定序号、DNS 身份和 PVC 绑定,但不会替有状态应用实现复制、仲裁与恢复。
可以带走的三个核心要点:
- Pod IP 可变,序号和 Headless Service 提供稳定网络身份。
volumeClaimTemplates把每个序号绑定到独立 PVC,但数据可靠性仍依赖存储与备份。- 扩缩容和升级必须遵循应用成员协议,不能只修改 replicas。
下一篇:HPA 为什么扩容太慢或反复抖动:指标、控制算法与容量边界。