外观
21 - Node NotReady 后 Pod 为什么没有立刻迁移:节点检测、驱逐与重新调度
摘要
节点已经失联两分钟,Pod 为什么仍显示 Running,新 Pod 也没有马上创建?控制面需要先判断节点是否异常,再等待驱逐条件满足;替代 Pod 创建后,还要完成调度、存储挂载和应用启动。本文沿着这条恢复链路解释各阶段的职责与等待原因,再讨论计划维护、有状态服务和多可用区部署的边界。
1. 场景:节点断了,控制面为什么不立即删 Pod
某 Node 网络中断,业务 Pod 已不可访问,但 API 中仍显示 Running。数分钟后旧 Pod 才进入删除流程,新 Pod 又因云盘未 Detach(解除与旧节点的连接)卡住。
Node 是承载容器的节点;Pod 是 Kubernetes 调度和运行容器的基本单位。控制面通过 API Server 读取和更新资源对象,节点上的 Kubelet 则负责管理 Pod 并上报状态。API 中的 Running 是已上报的 Pod 状态,不是控制面对进程的实时探测结果。节点失联后,状态无法及时更新,因此“显示 Running”和“业务不可访问”可以同时出现。
这是三个不同阶段:
text
控制面判断节点失联
→ 决定驱逐节点上的 Pod
→ 工作负载控制器创建替代 Pod,由调度器和节点完成调度、挂载和启动若节点只是短暂抖动,立即迁移会造成无谓重建;若旧节点实际上仍在运行有状态进程,过早在别处启动同一身份还可能双写。因此故障检测必须在恢复速度与误判风险之间取舍。
2. Node 心跳来自哪里
心跳是节点定期发送的存活信号。Kubelet 会更新 Node Status(节点状态),也会续约更轻量的 Lease(租约)对象。Lease 用较小的更新开销表明 Kubelet 仍能联系 API Server;Node Status 则包含节点的状态条件等信息。控制面结合这些更新判断节点健康,不能仅凭一次更新缺失就认定机器已经停机。
下面是职责层面的概念流程。节点生命周期控制器负责节点健康判断,基于污点的驱逐逻辑处理 Pod 删除,工作负载控制器负责补充副本;具体组件划分取决于 Kubernetes 版本:
图表将在阅读到此处时加载…
心跳周期、监控宽限、驱逐速率与 Taint 行为可由控制面参数和版本改变。托管集群还可能封装这些设置,不能把某个固定秒数当成通用承诺。
3. NotReady 与 Unknown
Node Condition 是描述节点状态的条件,Ready 是其中表示节点是否就绪的一项。应区分它的值与命令行中的概括显示:
Ready=False:Kubelet 明确报告节点不健康;Ready=Unknown:控制面在判断期限内没有收到所需的心跳更新,无法确认节点是否健康;- Node 对象消失:又是另一类管理操作。
以下只读命令用于查看节点与租约,将 NODE 替换为实际节点名:
bash
kubectl get node
kubectl describe node NODE
kubectl get lease -n kube-node-lease NODE -o yaml记录 Condition 的 lastHeartbeatTime(状态中记录的心跳时间)、lastTransitionTime(条件值转换时间)、Reason 和 Message,并与网络、主机和云平台事件对齐。同时查看 Lease 的 spec.renewTime(续约时间):Lease 可以独立更新,因此不能仅用 Condition 的心跳时间判断 Kubelet 是否仍在发送心跳。
4. Taint-Based Eviction
Taint(污点)是节点上的标记,用于排斥不满足条件的 Pod;Toleration(容忍)是 Pod 对某类污点的接受规则。基于污点的驱逐,就是根据节点污点与 Pod 容忍规则决定哪些 Pod 应进入删除流程。
节点异常时,控制面会添加类似 node.kubernetes.io/not-ready 或 node.kubernetes.io/unreachable 的污点。前者对应节点报告未就绪,后者对应控制面无法确认节点状态。Pod 是否需要驱逐,以及等待多久,要查看匹配的容忍规则。下面是 Pod spec 下的配置片段:
yaml
tolerations:
- key: node.kubernetes.io/not-ready
operator: Exists
effect: NoExecute
tolerationSeconds: 300operator: Exists 表示按污点的键匹配,不要求特定值;NoExecute 表示该污点既影响新 Pod 的调度,也影响已在节点上运行的 Pod。匹配的 tolerationSeconds: 300 允许 Pod 在该污点出现后继续容忍 300 秒,给短暂故障留下恢复窗口。它不是从业务第一次不可访问时开始计算的总恢复时间。
这个片段只容忍 not-ready,不能据此判断 Pod 对 unreachable 的行为。对于匹配的 NoExecute 污点,不设 tolerationSeconds 表示不限制容忍时长,可能让 Pod 长期留在失联节点的 API 状态中。
部分系统组件和 DaemonSet 可能具有不同默认 Toleration。实际 Pod Spec 才是判断依据。
5. “驱逐”后为什么不是迁移原 Pod
Kubernetes 不把运行中的进程和内存迁到另一台 Node。Deployment/ReplicaSet 等工作负载控制器维护期望副本数,在需要补充副本时创建新的 Pod 对象,再由 Scheduler(调度器)选择节点。不能把所有工作负载都理解为“等旧 Pod 完全消失后才补一个”:重建时机取决于控制器类型和旧 Pod 的状态。
text
不是:Pod A 从 Node 1 搬到 Node 2
而是:Pod A 结束/失联 → 新 Pod B 在 Node 2 创建新 Pod 有新的 UID(资源对象的唯一标识)和容器,IP 也可能改变;旧进程的内存和本地临时状态不会随它搬过去。持久状态需要通过外部存储、业务复制或上层协议恢复。没有工作负载控制器管理的独立 Pod,也不能依靠副本控制器自动补建。
6. PDB 到底保护什么
PodDisruptionBudget(PDB,Pod 中断预算)声明一组 Pod 在维护期间需要保持的可用数量。通过 Eviction API(驱逐接口)执行的计划中断,例如通常的节点 Drain(排空),会检查这项预算;预算不允许时,驱逐请求会受到阻止。节点故障后的基于污点的驱逐不能靠 PDB 阻止,直接删除 Pod 也不能等同于受预算约束的驱逐请求。
yaml
apiVersion: policy/v1
kind: PodDisruptionBudget
metadata:
name: order-api
spec:
minAvailable: 2
selector:
matchLabels: {app: order-api}这份配置选中标签为 app: order-api 的 Pod,并要求至少两个可用。节点突然掉电、容器 OOM(内存不足导致进程被终止)、应用崩溃等非自愿故障不会因为 PDB 而不发生。PDB 也不会创建额外容量;若只有两个副本且要求两个可用,管理员 Drain 可能被阻塞。
7. 最小实验:Cordon、Drain 与非故障演练
真实断网实验风险较高。先用测试节点演练计划中断,观察调度限制与驱逐流程;这不能替代断网后的心跳超时和污点驱逐实验。前提是本机具备能访问测试集群的 kubectl,账号有相关操作权限,并已确认节点上的工作负载可以中断。将 NODE_NAME 替换为同一测试节点名:
bash
kubectl cordon NODE_NAME
kubectl get node NODE_NAMECordon 将节点标记为不可调度,阻止通常的新 Pod 调度;现有 Pod 不会自动离开。预期现象是节点被标记为不可调度,而不是现有 Pod 立即重建。
执行 Drain 前,先核对节点上的 Pod 和中断预算:
bash
kubectl get pod -A -o wide --field-selector spec.nodeName=NODE_NAME
kubectl get pdb -ADrain 会驱逐工作负载,属于有影响操作。只能在明确授权的测试节点执行:
bash
kubectl drain NODE_NAME --ignore-daemonsets--ignore-daemonsets 允许 Drain 继续处理其他 Pod,但不会删除 DaemonSet 管理的 Pod;DaemonSet 是在符合条件的节点上运行节点级 Pod 的控制器。预期现象是可驱逐的工作负载进入删除和重建流程;PDB、未受控制器管理的 Pod 或本地临时数据等条件可能阻止 Drain 完成,应先检查原因。
演练结束后恢复调度:
bash
kubectl uncordon NODE_NAME不要默认添加 --delete-emptydir-data 或 --force;它们可能删除本地数据或绕过控制器保护。
8. 有状态 Pod 恢复为何更慢
有状态 Pod 的数据需要在重建后继续使用。对于使用 RWO(ReadWriteOnce,允许单节点读写挂载)云盘的工作负载,卷可能仍处于旧节点的 Attached(已连接)状态。新 Pod 即使调度成功,也可能遇到 Multi-Attach(卷被尝试连接到多个节点)错误,或等待旧连接 Detach。具体行为取决于存储驱动和云平台。
控制面联系不上节点,不代表旧节点已经停止写盘。若强制 Detach 时旧节点其实仍能写盘,可能造成文件系统损坏。因此恢复顺序要先保证旧写入者不能继续写,再让新节点接管卷。Fencing(隔离)就是通过存储或基础设施机制阻止旧节点继续访问资源;Attach 是连接卷,Mount 是将卷挂载到应用可访问的路径。
安全恢复需要:
text
确认旧节点/实例无法继续写
→ 完成存储 Fencing 或 Detach
→ 在新节点 Attach
→ Mount 并执行应用恢复数据库还可能需要日志恢复、选主和副本追赶。日志恢复用于重建一致的数据状态,选主确定由哪个成员接受写入,副本追赶则补齐落后的数据。因此 Pod Ready(就绪、可以提供服务)的时间可能远大于基础设施恢复时间。
9. 多可用区不等于自动容灾
可用区(Zone)是云平台划分的基础设施部署区域;故障域是可能因同一故障一起失效的一组资源。集群有多个可用区,不代表应用副本已跨区分散,更不代表数据和外部依赖都能跨区恢复。
副本必须真正分散到不同 Node/Zone。下面是 Pod spec 下的拓扑分布约束片段,用于约束匹配标签的 Pod 在可用区之间的分布:
yaml
topologySpreadConstraints:
- maxSkew: 1
topologyKey: topology.kubernetes.io/zone
whenUnsatisfiable: DoNotSchedule
labelSelector:
matchLabels: {app: order-api}topologyKey 指定用于划分区域的节点标签;maxSkew: 1 限制分布偏差,DoNotSchedule 表示无法满足约束时不调度该 Pod。约束有助于分散副本,也可能在故障后因剩余容量或可用区条件不足而阻止替代 Pod 调度;具体计算范围需结合集群版本、节点标签和其他调度条件判断。
还要确认:
- 每个 Zone 有足够节点容量;
- 存储能否在目标 Zone 恢复;
- Load Balancer(负载均衡器)的健康检查能否摘除故障 Zone;
- 数据库和外部依赖是否跨 Zone 可用;
- DNS、镜像仓库和控制面是否存在共同故障域。
10. 排查时间线
把“业务开始不可访问”“心跳停止”“条件转换”“污点出现”“旧 Pod 开始删除”“新 Pod 创建、调度和就绪”分别记在时间线上。等待发生在哪一段,就检查那一段的条件,避免把所有延迟都归因于驱逐:
图表将在阅读到此处时加载…
11. 容易踩的坑
11.1 Node NotReady 就立即强制删所有 Pod
先确认旧节点是否还能运行和写入。强制删除 API 对象不能证明旧进程已停止,尤其有状态服务存在双写风险。
11.2 把 PDB 当故障可用性保证
核对操作是否经过 Eviction API;PDB 约束这类维护驱逐,不能阻止机器掉电或替代容量不足。
11.3 Cordon 后期待 Pod 自动迁移
Cordon 后现有 Pod 留在原节点是预期行为;需要排空时再检查 Drain 的中断预算与数据影响。
11.4 只看 Node 状态,不看 Lease 时间
联合查看 Lease 续约时间和 Condition 转换时间,并与业务故障时间对齐,区分心跳中断和局部业务网络故障。
11.5 恢复时间只计算 Pod 启动
还要包括故障检测、驱逐等待、调度、存储和应用数据恢复。
12. 总结
Node 故障恢复不是瞬时迁移,而是检测、驱逐、重建和状态恢复组成的时间链。
可以带走的三个核心要点:
- Kubelet Lease/Status 停止更新后,控制面经过判断窗口才把 Node 标为异常。
- Pod Toleration 决定异常 Taint 下的驱逐时间,PDB 不保证非自愿故障可用性。
- 有状态恢复必须先隔离旧节点写入,再处理卷和应用成员状态。
下一篇:Secret 放进 Kubernetes 就安全了吗:凭据存储、传递与轮换。