外观
06 - Pod 一直 Pending:Scheduler 如何过滤、评分并选择节点
摘要
集群还有很多空闲 CPU,Pod 为什么提示 Insufficient cpu?本文先建立“资源承诺与节点约束”的调度模型,再解释过滤、评分和绑定,最后通过 Pending 实验与排查决策树区分调度失败和容器启动失败。
1. 场景:监控显示 CPU 只用 30%,Pod 却调度失败
扩容期间,新 Pod 长期处于 Pending(等待阶段),Event(Kubernetes 记录的平台事件)显示:
text
0/6 nodes are available: 3 Insufficient cpu,
2 node(s) had untolerated taint, 1 node(s) didn't match Pod's node affinity.实时 CPU 利用率不高,并不能说明节点还能接收新 Pod。默认调度主要比较 Pod 的 requests(资源请求量)与节点可分配资源:即使已有进程此刻空闲,它们声明的资源请求仍计入调度账本。
这条事件还说明,CPU 只是部分节点被淘汰的原因。其余节点分别不满足污点容忍或节点亲和性要求。因此,降低 CPU 请求量也不一定能让这个 Pod 调度成功;需要找到至少一个同时满足所有硬约束的节点。
2. Scheduler 只负责选节点
Pod 是 Kubernetes 的调度单位,可以包含一个或多个容器;Node 是承载 Pod 的工作节点。Scheduler(调度器)为由自己负责、且 spec.nodeName 为空的 Pod 选择 Node,并通过 API 完成绑定,也就是确定该 Pod 要在哪个节点运行。
调度器不负责拉镜像、创建 Sandbox(Pod 的运行环境)或启动容器。绑定后,节点上的 Kubelet(节点代理)协调容器运行时完成这些工作。因此,“已选好节点”和“容器已运行”是两个阶段,Pending 可能出现在任一阶段。
图表将在阅读到此处时加载…
图中展示的是调度主干:待调度 Pod 进入队列,PreFilter 做过滤前的准备,Filter 排除不满足硬约束的节点,Score 对剩余节点评分;选定节点后,再经过资源预留、许可检查和绑定等步骤。没有可行节点时,评分无法解决问题,需要等待资源或约束条件变化后重试。
调度框架通过插件实现这些检查,扩展点和启用的插件会随 Kubernetes 版本、Scheduler 配置变化。图中省略了部分扩展点,理解时先抓住“过滤决定能不能放,评分决定放哪里更合适”。
3. requests、limits 与 Allocatable
3.1 Scheduler 看的不是实时使用率
对某个候选节点,先用下面的简化账本理解 CPU 判断,再把新 Pod 的 CPU request 与剩余额度比较:
text
节点剩余可承诺 CPU
= Node Allocatable
- 已绑定 Pod 的 CPU requests 总和这个公式用于理解资源承诺,不是完整的调度实现;实际 Pod 请求量还受 Init Container(主容器启动前执行的初始化容器)、Pod 开销等配置影响。资源还必须在单个节点上满足,不能把多台节点的剩余额度拼成一个 Pod 所需的额度。
Allocatable 是节点可供 Pod 使用的资源量,不等于机器物理容量。节点还要为操作系统、Kubelet、驱逐阈值等保留资源,具体取决于节点配置。
查看调度账本:
bash
kubectl describe node NODE_NAMEAllocated resources 中通常能看到 requests 和 limits 汇总。它不是实时使用率。
3.2 request 和 limit 分工不同
request:资源请求量,用于调度承诺,也会影响 CPU 竞争时的权重和 QoS(服务质量分类);limit:运行时资源上限。内存超限可能触发 OOM(内存不足导致进程被终止),CPU limit 常通过 cgroup(Linux 资源控制机制)的带宽限制实施;- 实际使用量:进程当前消耗的资源,由指标系统观察,不等于请求量或上限。
request 过大会让较少的 Pod 就占满调度额度,降低装箱率,也就是节点能承载的工作负载密度;request 过小则可能让很多 Pod 同时进入节点,在实际负载上升时争抢资源,并增加资源压力下的驱逐风险。应结合业务负载设置请求量,而不是只为消除 Pending 把它调低。
4. Filter:哪些约束会直接淘汰节点
常见过滤条件包括:
- 资源:新 Pod 的 requests 是否超过节点剩余可承诺资源;
- 节点选择:
nodeSelector按节点 Label(键值标签)筛选,NodeAffinity(节点亲和性)的硬规则是否匹配; - 污点:节点的 Taint(排斥规则)是否有对应的 Toleration(容忍规则),具体影响取决于污点类型;
- Pod 之间的位置关系:PodAffinity(Pod 亲和性)或 PodAntiAffinity(Pod 反亲和性)的硬规则是否满足,即是否必须靠近或避开某些 Pod;
- 存储:Volume(卷)的拓扑、挂载数量和访问模式是否允许放到该节点;
- 端口:例如
hostPort要占用节点端口,是否发生冲突; - 节点状态:是否被标记为不可调度,以及 Ready 状态和相关污点是否允许调度;
- 副本分布:拓扑分布的硬约束是否满足。
多个条件同时失败时,Event 会汇总原因。不要只修第一条后就认定问题解决。
5. Score:能运行之后,去哪里更合适
Filter 后可能剩余多个节点。Score 阶段通过插件给节点打分,例如资源均衡、亲和偏好、镜像局部性(优先考虑已有所需镜像的节点)和拓扑分布。评分只在可行节点之间比较,不能覆盖 Filter 的拒绝结果。
在亲和性配置中,硬约束通常使用 requiredDuringSchedulingIgnoredDuringExecution,偏好使用 preferredDuringSchedulingIgnoredDuringExecution。名称中的 IgnoredDuringExecution 表示 Pod 运行后节点标签变化,通常不会因此自动驱逐 Pod。
例如,目标只是“尽量在同一机房”,却配置为“必须匹配某个机房标签”。一旦没有节点带该标签,偏好就变成了无法满足的硬约束,Pod 会 Pending。
正例:真正的合规和硬件要求用 required,性能偏好用 preferred,并监控偏好无法满足的比例。
6. Taint 与 Toleration:允许不等于吸引
Taint(污点)放在 Node 上,表达排斥规则;Toleration(容忍)放在 Pod 上,表示 Pod 可以容忍某类污点。
下面是放在 Pod spec 下的配置片段,不是完整资源清单:
yaml
tolerations:
- key: dedicated
operator: Equal
value: batch
effect: NoSchedule这只让 Pod 有资格进入带该污点的节点,不保证一定调度到那里。若要专用节点,通常还要结合 Node Affinity。
NoSchedule 阻止不容忍该污点的新 Pod 调度;PreferNoSchedule 表达尽量避免,是软限制;NoExecute 除了影响新 Pod,还可能驱逐已运行且不满足容忍条件的 Pod。使用前应核对目标版本语义、容忍时长配置和自动添加的系统 Taint。
7. 最小实验:主动制造 Pending
实验需要可访问的 Kubernetes 测试集群、kubectl 和测试命名空间内创建、查看、删除 Pod 的权限。修改节点标签的恢复方式还需要相应的节点权限。以下命令作用于当前命名空间;NODE_NAME 要替换为测试节点名称。
先确认所有节点都没有 demo.hardware/accelerator=impossible 这个标签组合,且计划修改的节点原先没有该标签键,避免覆盖已有值。将下面的 YAML 保存为 pending-demo.yaml。它通过当前没有节点满足的 nodeSelector 主动制造 Pending:
yaml
apiVersion: v1
kind: Pod
metadata:
name: pending-demo
spec:
nodeSelector:
demo.hardware/accelerator: impossible
containers:
- name: pause
image: registry.k8s.io/pause:3.10
resources:
requests:
cpu: 10m
memory: 8Mibash
kubectl apply -f pending-demo.yaml
kubectl get pod pending-demo -o wide
kubectl describe pod pending-demo预期观察:在没有节点匹配上述标签的条件下,Pod 保持 Pending,Event 指向 NodeSelector/NodeAffinity 不匹配;事件可能同时列出其他约束失败原因。恢复有两种方式,任选一种。
方式一:移除错误约束并重建 Pod,因为普通 Pod 的许多调度字段不可直接修改:
bash
kubectl delete pod pending-demo
# 修改 YAML 删除 nodeSelector 后重新 apply方式二:给一个测试节点增加匹配 Label:
bash
kubectl label node NODE_NAME demo.hardware/accelerator=impossible
kubectl get pod pending-demo -w增加匹配标签只解决这一项约束。节点资源、其他调度条件和镜像拉取也满足时,Pod 才能继续走向运行。-w 持续观察状态,完成观察后用 Ctrl+C 退出。
实验后清理 Pod;如果使用了方式二,再删除新增标签,避免影响后续调度:
bash
kubectl delete pod pending-demo --ignore-not-found
kubectl label node NODE_NAME demo.hardware/accelerator-不要在共享生产节点随意修改 Label;它可能影响真实工作负载。
8. 抢占为什么不一定能救活 Pod
PriorityClass(优先级类别)用于声明 Pod 的优先级。高优先级 Pod 无法调度时,Scheduler 可能尝试抢占较低优先级 Pod,为其释放资源。但抢占不是即时迁移,也不能解决所有约束:
- 没有任何节点满足 NodeAffinity,赶走多少 Pod 都无效;
- PVC(持久卷声明,用于请求存储)的拓扑冲突不会因释放 CPU 消失;
- 被抢占 Pod 的终止需要时间;
- PodDisruptionBudget(Pod 中断预算,用于约束自愿中断)会参与部分决策,但不是绝对防驱逐屏障;
- 高优先级配置错误可能大量挤出正常业务。
PriorityClass 应用于明确的业务优先级和系统关键组件,不应作为“调度失败就加优先级”的修复按钮。
9. Topology Spread:副本多不等于高可用
三个副本如果全在同一 Node 或同一可用区,对应节点或区域发生故障时,仍可能同时失去全部副本。Topology Spread Constraints(拓扑分布约束)可以按 Node、Zone(可用区)等拓扑键约束分布;拓扑键是节点标签的键,相同标签值表示同一分布域。
下面是 Pod spec 下的配置片段。它用 labelSelector 选取带 app=order-api 标签的 Pod,按节点的可用区标签比较副本分布;相关节点需要有对应的拓扑标签。maxSkew 表示允许的分布偏差,具体计算还取决于哪些拓扑域参与计算,不能简单理解为每个可用区永远相差不超过一个副本。
yaml
topologySpreadConstraints:
- maxSkew: 1
topologyKey: topology.kubernetes.io/zone
whenUnsatisfiable: DoNotSchedule
labelSelector:
matchLabels:
app: order-api硬约束提高分散性,也可能在某个 Zone 容量不足时让 Pod Pending。使用 ScheduleAnyway 可以把它变成偏好。选择取决于“宁可少副本还是允许副本集中”的业务取舍。
10. Pending 排查顺序
排查先划分责任阶段,再逐项验证约束。不要一看到 Pending 就调整资源或优先级。
图表将在阅读到此处时加载…
以下命令中的 POD、NODE 分别替换为目标 Pod 和节点名称,并确认当前命名空间正确:
bash
kubectl get pod POD -o wide
kubectl describe pod POD
kubectl get pod POD -o jsonpath='{.spec.nodeName}{"\n"}'
kubectl describe node NODE
kubectl get pvcPod Phase 是整体状态,Container Status 是容器的具体状态。spec.nodeName 为空时,结合 FailedScheduling 事件检查资源、标签、污点和 PVC;不为空时,转向节点上的启动链路,查看容器等待原因以及镜像、CNI(容器网络接口)、挂载和运行时相关事件。
对每条失败原因,都要回到完整 Pod Spec(期望配置)和 Node 状态确认。修复后再次观察事件和状态,直到找到可行节点并完成绑定;绑定成功后还要检查容器是否真正启动。
11. 容易踩的坑
11.1 看实时 CPU 判断能否调度
实时使用率用于观察负载;能否再接收 Pod,要比较候选节点剩余调度额度与新 Pod 的 request。两种指标回答不同问题。
11.2 requests 复制 limits
不能只为配置整齐就把所有 request 复制成 limit。对于常见的容器级资源配置,Guaranteed QoS 要求 Pod 中每个容器的 CPU 和内存 request、limit 都已设置,且分别相等;仅某一项相等并不足够。过大的 request 可能显著降低装箱率,是否采用这种配置取决于延迟、可预测性和资源治理目标。
11.3 给所有 Pod 加万能 Toleration
宽泛的容忍规则可能让业务具备进入控制面、故障节点或专用节点的资格,破坏隔离意图。它仍不能绕过资源和其他硬约束,也不能保证节点适合运行该业务。
11.4 使用 required 规则表达软偏好
标签缺失、Zone 容量不足或滚动升级时会直接 Pending。软目标用 preferred 更稳妥。
11.5 只看最后一条 Event
Events 会变化和聚合,应结合完整 Pod Spec、Node 状态和时间线判断。
12. 总结
Scheduler 解决的是“在所有硬约束下把 Pod 放到哪个节点”,而不是根据实时 CPU 找一台看起来最空闲的机器。
可以带走的三个核心要点:
- 调度资源账本以 requests 和 Node Allocatable 为核心,实时利用率低不代表还能承诺更多 Pod。
- Filter 决定能不能放,Score 决定放哪里更好;Toleration 只代表允许,不代表吸引。
- Pending 不一定都是调度失败,先检查
nodeName,再区分 Scheduler 与 Kubelet 阶段。
下一篇:Pod 为什么不断重启:从进程退出到 CrashLoopBackOff。