外观
20 - HPA 为什么扩容太慢或反复抖动:指标、算法与容量边界
摘要
CPU 利用率已经达到 90%,为什么副本数没有增加?刚扩完容,为什么又缩回去?HPA(Horizontal Pod Autoscaler,水平 Pod 自动扩缩容器)周期性读取指标,将当前值与目标值比较,再调整工作负载的期望副本数。新增副本何时能够接收请求,还取决于调度和应用启动。
下面先解释 CPU 利用率和副本计算的基本模型,再讨论指标缺失、扩容延迟、缩容稳定窗口及容量边界,并通过 CPU 负载实验观察控制循环。
1. 场景:HPA 显示 CPU unknown
Pod 是 Kubernetes 调度和运行容器的基本单位;Deployment 管理一组可替换的 Pod 副本。服务使用 HPA 按 CPU 利用率扩缩容,目标配置片段如下,位于资源指标的 target 下:
yaml
averageUtilization: 60Pod CPU 很高,HPA 却显示:
text
TARGETS MINPODS MAXPODS REPLICAS
cpu: <unknown> 2 10 2这个场景中,Deployment 的容器没有设置 CPU requests,即声明给调度器的 CPU 需求。按 CPU Utilization(利用率)扩缩容时,HPA 需要用 CPU 使用量与对应的 requests 计算比例,而不是除以 limits(使用上限)。缺少所需的 requests,就无法得到有效分母。
<unknown> 表示 HPA 未能取得或计算该指标,不等于 CPU 使用量为零,也不能仅凭这一列认定是 requests 缺失;指标采集链路故障也需要排查。
2. HPA 数据链路
HPA 不直接接收业务流量,也不直接从容器读取 CPU。它通过 Metrics API(指标接口)取得采样结果,由控制器计算副本建议,再更新工作负载的 scale 子资源。scale 是 Kubernetes 用于读取和修改副本数量的接口,随后由 Deployment 等工作负载控制器创建或删除 Pod。下面是资源指标的概念链路,实际采集接口取决于组件版本:
图表将在阅读到此处时加载…
CPU、内存属于资源指标。自定义指标描述应用自身的负载,外部指标可描述工作负载之外的信号,例如队列长度;它们通过相应的 Metrics API Adapter(指标适配器)提供给 HPA。适配器把指标系统的数据转换为 HPA 可读取的接口。任何一环缺失、延迟或权限错误,都可能导致 HPA 无法计算,或者只能依据较早的负载作出决策。
Metrics Server 主要提供资源指标,不是长期监控数据库;生产趋势分析通常仍需 Prometheus 等系统。
3. Desired Replicas 的基本公式
先假设指标可用、负载能在副本之间分担,且暂不考虑稳定窗口和速率限制。基本思路是:当前指标比目标高多少,就按这个比例增加副本;低于目标时则计算缩容建议。简化公式如下:
text
desiredReplicas
= ceil(currentReplicas × currentMetricValue / desiredMetricValue)desiredReplicas 是建议的期望副本数,currentReplicas 是当前副本数,currentMetricValue 是当前指标值,desiredMetricValue 是配置的目标值;ceil 表示向上取整,因为副本数必须是整数。
例如 4 个副本平均 CPU 利用率为 90%,目标为 60%:
text
ceil(4 × 90 / 60) = 6这个建议的含义是:如果总负载不变且能均匀分担,6 个副本有望把平均利用率降到目标附近,并不保证真实负载一定如此分布。最终副本数还受 minReplicas、maxReplicas 约束。
实际控制器还会处理容忍区间、缺失指标、未就绪 Pod、多指标取值和扩缩容策略。容忍区间用于避免指标在目标附近小幅变化时频繁调整;指标缺失或 Pod 尚未就绪时,控制器会作保守处理,避免仅凭部分样本过度扩缩容。具体规则需按版本核对,因此不能只靠这一公式复刻最终结果。
4. CPU 利用率为何依赖 requests
CPU 的 m 表示 millicpu(千分之一 CPU),1000m 等于 1 个 CPU 单位。假设各 Pod 的 CPU requests 都为 500m,每个 Pod 当前使用 400m:
text
利用率 = 400m / 500m = 80%如果 requests 仅为 100m,同样使用 400m 就是 400%。因此 requests 不只是调度参数,也决定 HPA 资源利用率目标的语义。
在相同使用量和目标利用率下,requests 越小,计算出的利用率越高,扩容建议也越大;requests 越大则相反。因此应基于正常负载、并发模型和延迟目标设置,而不是为了“让调度容易”故意写小。多容器 Pod 还需要检查资源指标所涉及容器的 requests 是否完整。
5. 为什么扩容总是慢半拍
扩容完整链路:
text
流量上升
→ 指标采集
→ Metrics API 可见
→ HPA 下一次同步计算
→ 修改 replicas
→ Scheduler 调度
→ 拉镜像、挂载、启动
→ Startup/Readiness 通过
→ Endpoint 生效
→ 新 Pod 真正分担流量链路中的 Scheduler 是为 Pod 选择节点的调度器;Startup Probe 检查启动是否完成,Readiness Probe 检查是否可以接收流量,配置了相应探针时要等待检查通过。Endpoint 表示服务后端地址,新副本加入后端并能接收请求后,才真正增加可用容量。
HPA 只负责计算并更新副本目标。例如,假设应用冷启动需要 90 秒,即使控制循环每 15 秒运行一次,也无法跳过这 90 秒。要承受启动期间的流量,就需要预留副本、缩短启动时间、用队列削峰,或根据队列积压等前置信号提前扩容。
同步周期和默认参数可由控制面配置改变,托管集群还可能不可见,不能假设固定数值。
6. 缩容抖动与稳定窗口
短时间流量下降后立即缩容,下一波流量到来时又需要扩容,新增 Pod 还要再次经历启动过程。behavior 用于定义扩缩容行为:稳定窗口参考一段时间内的副本建议,减少短暂波动造成的缩容;速率策略则限制指定时间范围内副本数可以改变多少。下面是 HPA spec 下的配置片段:
yaml
behavior:
scaleDown:
stabilizationWindowSeconds: 300
policies:
- type: Percent
value: 25
periodSeconds: 60
scaleUp:
policies:
- type: Percent
value: 100
periodSeconds: 60
- type: Pods
value: 4
periodSeconds: 60
selectPolicy: Max这里的缩容稳定窗口为 300 秒;缩容策略用 Percent 表示比例,在 60 秒范围内限制缩减幅度为 25%。扩容提供两项策略:60 秒内增加 100%,或增加 4 个 Pod;selectPolicy: Max 选择允许增加更多副本的策略。策略描述允许的变化幅度,不表示每到 60 秒就一定扩缩一次。
窗口也不是固定等待后再做一次决策,而是根据历史建议限制缩容。字段支持、默认行为、取整和历史变化的处理方式应按目标 Kubernetes 版本核对。
7. 最小实验:CPU HPA
前提:使用支持 autoscaling/v2 的测试集群,Metrics Server 已安装且资源指标可读取;本机具备可访问该集群的 kubectl,集群能够拉取示例镜像。将以下三个资源保存到 hpa-demo.yaml,后续命令使用同一测试命名空间。
实验通过 Service 向应用持续发送请求。Deployment 声明每个 Pod 的 CPU requests 为 100m,HPA 以其 50% 为目标,即对应 50m 的使用量;limits: 500m 是 CPU 使用上限,不是利用率计算的分母。
yaml
apiVersion: apps/v1
kind: Deployment
metadata: {name: hpa-demo}
spec:
replicas: 1
selector:
matchLabels: {app: hpa-demo}
template:
metadata:
labels: {app: hpa-demo}
spec:
containers:
- name: app
image: registry.k8s.io/hpa-example:latest
ports: [{containerPort: 80}]
resources:
requests: {cpu: 100m}
limits: {cpu: 500m}
---
apiVersion: v1
kind: Service
metadata: {name: hpa-demo}
spec:
selector: {app: hpa-demo}
ports: [{port: 80}]
---
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata: {name: hpa-demo}
spec:
scaleTargetRef:
apiVersion: apps/v1
kind: Deployment
name: hpa-demo
minReplicas: 1
maxReplicas: 10
metrics:
- type: Resource
resource:
name: cpu
target:
type: Utilization
averageUtilization: 50示例使用 latest 镜像标签,实验前需确认它可拉取;生产环境应固定 Digest(镜像内容摘要),避免同一标签指向不同内容。以下命令按观察顺序执行:
bash
kubectl apply -f hpa-demo.yaml
kubectl run hpa-load --image=busybox:1.36 \
--restart=Never -- sh -c \
'while sleep 0.01; do wget -q -O- http://hpa-demo; done'
kubectl get hpa,pod -wkubectl get hpa,pod -w 会持续观察,后续检查需要另开终端,或退出观察后再执行。
预期现象:如果请求产生的 CPU 负载持续高于目标,且指标、节点资源均可用,HPA 会计算更高的副本建议,Pod 数随后增加。单个串行负载循环不保证一定产生足够压力,也不保证扩到 maxReplicas: 10。应同时观察指标、副本目标和 Pod 状态,而不是把没有扩容直接视为控制器故障。
检查:
bash
kubectl describe hpa hpa-demo
kubectl top pod -l app=hpa-demo
kubectl get --raw /apis/metrics.k8s.io/v1beta1/podsdescribe hpa 用于查看决策状态和事件,top pod 查看资源使用量,原始 Metrics API 请求用于检查指标是否可读取。结束实验后清理资源;这些删除命令会移除示例应用和负载 Pod:
bash
kubectl delete deployment,service,hpa hpa-demo
kubectl delete pod hpa-load --ignore-not-found8. 多指标如何决策
HPA 可同时配置 CPU、自定义 QPS(每秒请求数)和外部队列长度等指标。各指标分别计算副本建议,通常选择建议副本数中较大的值,使某一项指标的容量需求不会被其他低负载指标抵消。若部分指标无法读取,缩容可能受到更保守处理,因为已读到的低负载不能代表所有指标都允许缩容。
精确规则随版本演进。排查时查看 HPA Conditions(状态条件)和 Events(事件):前者描述控制器能否获取指标、执行扩缩容等状态,后者提供失败或调整的原因。TARGETS 一列只能展示部分指标信息。
9. HPA、VPA 与 Cluster Autoscaler 的边界
这三类组件调整不同层面的容量。VPA(Vertical Pod Autoscaler,垂直 Pod 自动扩缩容器)关注单个 Pod 的资源配置;Cluster Autoscaler 是节点自动扩缩容组件,关注承载 Pod 的节点数量:
text
HPA:调整 Pod 副本数
VPA:建议或调整单 Pod requests
Cluster Autoscaler/节点自动扩缩:调整 Node 容量HPA 提高副本目标后,工作负载控制器会创建更多 Pod。若没有足够的节点资源,新 Pod 会停留在 Pending(等待调度或启动)的状态;节点扩容又需要云 API、机器启动和初始化时间。
如果 HPA 按 CPU 利用率扩缩容,而 VPA 又调整 CPU requests,VPA 改变的正是 HPA 利用率计算的分母。即使业务负载不变,HPA 的副本建议也可能变化,两个控制器因而可能相互影响。兼容模式和实现需按所用组件版本设计。
10. 扩 Pod 为什么可能让故障更严重
以数据库连接数为瓶颈的假设场景为例,假设每个 Pod 的连接池上限为 50:
text
每 Pod 连接池 50
2 Pod = 100 连接
HPA 扩到 10 Pod = 500 连接
数据库上限 200这里计算的是连接池的合计上限,不表示所有连接都一定同时建立。如果多个副本都将连接池用满,10 个 Pod 的连接需求就超过数据库上限,可能导致连接等待或失败;若再触发重试,下游压力还会增加。
弹性设计要计算整个依赖链的并发预算,即各服务能够同时承受的请求或连接数量,并让连接池、限流和 HPA 协同。增加应用副本前,应先确认下游有能力承接新增并发。
11. 排查顺序
先确认数据是否可用,再判断控制器是否产生了副本建议,最后检查建议是否转化为可用 Pod。这样可以区分“没有作出扩容决策”和“已经扩容,但新容量尚未就绪”:
图表将在阅读到此处时加载…
12. 容易踩的坑
12.1 没有 request 却使用 CPU Utilization
使用 Utilization 目标时检查相关容器的 requests;同时排查 Metrics API,避免把所有 <unknown> 都归因于同一个配置问题。
12.2 把扩容当即时动作
把指标采样、控制循环、调度和应用启动分别计入扩容时间,才能判断该优化哪个环节。
12.3 只按 CPU 扩 I/O 服务
I/O 服务可能主要在等待网络、磁盘或数据库。即使线程池、队列或下游已饱和,CPU 也可能不高;应选贴近瓶颈的指标,并确认增加副本能缓解这个瓶颈。
12.4 minReplicas 设得太低
minReplicas 是副本下限。设置过低时,现有副本可能撑不过新增副本的启动阶段;需按启动时间和流量增长速度留出预热容量。
12.5 忽略下游容量
设置 maxReplicas 时同时核算连接池合计上限和下游并发预算,避免把应用侧扩容变成下游过载。
13. 总结
HPA 是带采样延迟和执行延迟的反馈控制器,不是流量升高后立即出现可用容量的魔法。
可以带走的三个核心要点:
- CPU 利用率目标以 requests 为分母,request 配置直接改变 HPA 语义。
- 扩容延迟包含指标、控制循环、调度、启动和 Readiness 全链路。
- 指标应贴近真实瓶颈,并受数据库、连接池和节点容量共同约束。
下一篇:Node NotReady 后 Pod 为什么没有立刻迁移:节点故障与驱逐机制。