外观
10 - CPU 利用率不高,接口为什么仍然超时:CPU Limit 与 Throttling
摘要
Pod 平均 CPU 只有 0.8 Core,配置 1 Core limit,为什么接口仍会出现延迟尖峰?关键在于:平均值描述较长时间内的消耗,CPU limit 则限制较短周期内的 CPU 时间预算。本文先区分 request、limit 和实际用量,再解释多线程如何提前耗尽预算,最后通过 cpu.stat 和压力实验建立排查证据链。
1. 场景:CPU 没打满,P99 却每隔一段时间尖刺
一个 Java 服务的容器级资源配置如下。这是 Pod 清单中容器的 resources 片段:
yaml
resources:
requests:
cpu: 500m
limits:
cpu: "1"监控按一分钟采样,CPU 平均 0.8 Core。但接口 P99 周期性从 80 ms 升到 600 ms,线程 Dump 显示大量 Runnable,没有锁竞争和慢下游。
P99 是请求耗时的第 99 百分位数,描述尾部请求的延迟。线程 Dump(线程转储)是线程状态和调用栈的快照;Java 的 Runnable 状态不能证明线程当时正在 CPU 上执行,也不能单凭它排除所有等待。
这些现象提示一种可能:进程在某些配额周期内用完 CPU 时间预算,Linux 内核暂时不再调度受限的任务,直到预算补充。请求耗时包含这段等待,而分钟平均 CPU 把短时间突发与空闲一起平均了。是否确由节流引起,还要用故障窗口内的指标判断。
2. request 与 limit 对 CPU 的作用不同
- CPU request(申请量):Kubernetes 调度器用它判断节点能否容纳 Pod;在共享 CPU 场景中,它还影响资源竞争时的相对权重。
- CPU limit(上限):通常转换为 cgroup 的 CPU 带宽上限。cgroup(control group,控制组)是 Linux 对一组进程进行资源计账和限制的机制。
- CPU usage(实际用量):由实际消耗的 CPU 时间计算,既不是申请量,也不是上限。
这里的 Core 是 CPU 用量单位:1 Core 表示每秒累计消耗约 1 秒 CPU 时间;500m 是 500 millicpu,即 0.5 Core。多线程在多个 CPU 上并行时,CPU 时间要相加,因此 1 秒实际经过的时间内可以累计消耗多秒 CPU 时间。request 为 500m 并不表示只能使用半个核心,limit 为 "1" 也不表示绑定到一个物理核心。
CPU 被称为可压缩资源,是因为内核可以让任务等待、减少它得到的执行时间。内存超过硬上限且无法回收时可能触发 OOM(内存不足处理);CPU 配额耗尽通常触发 Throttling(节流),而不是杀进程。Pod 仍可能处于 Running,日志未必报错,但请求会因等待 CPU 而变慢。
3. Quota 与 Period
CPU 带宽控制常被称为 CFS bandwidth control,CFS 是 Completely Fair Scheduler(完全公平调度器)的缩写。理解配额时,先把它看成“每个周期给控制组一份可消耗的 CPU 时间预算”,不必先掌握调度器的全部细节。
以下文件接口适用于启用了 CPU 带宽控制的常见 cgroup v2 环境;cgroup v1 的文件名不同。cpu.max 的示例内容如下:
text
100000 100000前者是 quota(配额),后者是 period(配额补充周期),单位为微秒。示例表达该 cgroup 在一个 100 ms 周期内有 100 ms CPU 时间预算,配额与周期之比为 1,即约 1 Core 的带宽上限。这是消耗上限,不是内核保证提供的执行时间;节点竞争仍可能让它得不到足够 CPU。
max 100000 表示没有该层硬配额,不表示整个层级都无限制:父级控制组仍可能限制它。实际值由容器运行时、Kubernetes 配置和 cgroup 层级共同决定,不能只看清单推断现场限制。
图表将在阅读到此处时加载…
3.1 多线程为何更快耗尽配额
假设周期为 100 ms、配额为 100 ms,4 个线程能在 4 个物理核上持续同时运行,且没有其他竞争。实际经过约 25 ms 后,它们合计消耗的 CPU 时间就是 4 × 25 ms = 100 ms。在这个简化模型里,配额已耗尽,受限任务需要等待后续预算,而不是继续占用本周期剩下的约 75 ms。
这解释了为什么多线程 Java 服务会出现短促执行、集中停顿的延迟形态。精确调度行为依 Kernel 和 cgroup 配置,示例只用于建立直觉。
4. cpu.stat 是关键证据
cgroup v2 的 cpu.stat 包含 CPU 时间和节流累计计数。以下是字段格式示例,数字不作为实验的预期测量值:
text
usage_usec 123456789
user_usec 100000000
system_usec 23456789
nr_periods 5000
nr_throttled 1200
throttled_usec 45000000usage_usec:累计 CPU 使用时间,单位为微秒;user_usec和system_usec分别是用户态与内核态时间。nr_periods:带宽控制统计的周期数。nr_throttled:发生节流的周期数。throttled_usec:累计节流时间。它不是某个请求的等待时间,也不能直接换算成接口延迟。
字段及可见性随内核、cgroup 版本和控制器配置可能不同。先确认读取的是目标容器所属控制组,并检查可见的父级限制;容器内的 /sys/fs/cgroup 视图取决于运行时和挂载方式,必要时从节点侧定位。判断要比较同一容器实例、同一控制组在一段时间内的增量,而不是只看累计值:
text
节流周期比例 ≈ Δnr_throttled / Δnr_periods其中 Δ 表示后一次读数减去前一次读数,分母必须大于零。容器重建或计数重置后,不能把两侧读数直接相减。节流周期比例说明这些周期中有多少发生了节流,不说明每次节流多严重,也不等于“有多少请求变慢”。它与 P99 在同一窗口变化时,是继续排查配额限制的关联证据;确认因果还需要结合负载及配置对照。
5. 最小实验:在 1 Core limit 下制造并行突发
在 Kubernetes 测试集群中执行,避免持续占用生产节点 CPU。需要 kubectl、当前命名空间内创建、查看、进入和删除 Pod 的权限,节点还需能够拉取 python:3.13-slim 镜像。后面的文件读取依赖 cgroup v2、CPU 控制器以及正确的容器内挂载视图;节点的可用 CPU 和竞争情况会影响是否观察到明显节流。
将以下清单保存为 cpu-throttle-demo.yaml。Python 的 multiprocessing 创建 4 个子进程,各自持续进行整数计算,父进程通过 join() 等待它们。它制造的是持续并行 CPU 压力,用来观察配额耗尽,不是 HTTP 请求负载,也不能直接复现前述 P99 数值:
yaml
apiVersion: v1
kind: Pod
metadata:
name: cpu-throttle-demo
spec:
containers:
- name: stress
image: python:3.13-slim
command:
- python
- -c
- |
import multiprocessing as mp
def burn():
x = 0
while True:
x = (x * 33 + 17) % 1000003
for _ in range(4):
mp.Process(target=burn).start()
for p in mp.active_children():
p.join()
resources:
requests:
cpu: 100m
limits:
cpu: "1"先创建 Pod,待容器启动后再执行读取命令;若仍在拉取镜像或未成功启动,exec 无法取得统计:
bash
kubectl apply -f cpu-throttle-demo.yaml
kubectl top pod cpu-throttle-demo
kubectl exec cpu-throttle-demo -- cat /sys/fs/cgroup/cpu.max
kubectl exec cpu-throttle-demo -- cat /sys/fs/cgroup/cpu.stat
sleep 10
kubectl exec cpu-throttle-demo -- cat /sys/fs/cgroup/cpu.statPowerShell 环境可用 Start-Sleep -Seconds 10 替代 sleep 10。比较两次计数增量。kubectl top 需要 Metrics Server(集群资源指标服务),且采样频率较低;没有它也可继续读取 cgroup 文件。
预期现象:在配额生效、并行进程能较快消耗预算的条件下,nr_throttled 和 throttled_usec 会增加。cpu.max 是否为 100000 100000 应以实际读取结果为准;统计文件不存在时先确认版本与挂载路径,不能把读取失败当作节流为零。若节流不明显,还要检查进程是否运行、节点竞争是否限制了实际用量,以及父级配额。
清理:
bash
kubectl delete pod cpu-throttle-demo --ignore-not-found6. 为什么平均 CPU 会误导
假设应用每 100 ms 的前 30 ms 突发使用 3 Core,随后 70 ms 等待网络。累计 CPU 时间为 3 × 30 ms = 90 ms,平均 CPU 接近 0.9 Core,看似低于 1 Core limit。仅这 90 ms 还没有耗尽 100 ms 配额,但剩余预算只有约 10 ms;额外的 GC(垃圾回收)、序列化或系统调用若把消耗推过预算,就可能触发节流。
这个例子说明平均值低于上限与短周期预算紧张可以同时成立。节流还会压低应用实际能消耗的 CPU 时间,因此低用量本身也不能证明应用没有更多 CPU 需求。
对延迟敏感系统,应同时观察:
- CPU usage rate(单位时间内消耗的 CPU 时间),并确认监控按 Core、limit 百分比还是节点总量展示;
nr_throttled和throttled_usec增量;- Run Queue(等待 CPU 的可运行任务队列)、PSI CPU Pressure(CPU 压力停顿信息),用于观察任务等待 CPU 的情况;
- 应用 P95/P99(请求耗时的第 95/99 百分位数);
- GC、线程池队列和事件循环延迟;
- Node(工作节点)是否存在 CPU 竞争。
7. 没有 limit 就一定更好吗
移除 CPU limit 可以去掉这一层硬配额,但必须确认平台没有再次注入限制、父级也没有相关配额。即便不再受这类节流影响,也不代表获得无限 CPU:
- 节点仍有物理 CPU 上限;
- 多个 cgroup 竞争时,CPU request/weight 仍影响份额;
- 失控进程可能抢占其他业务;
- 多租户和成本治理可能要求 limit;
- 部分平台策略会强制注入 limit。
是否设置 CPU limit 是平台隔离与应用延迟之间的权衡。不能把“永远不设”或“request 必须等于 limit”当成通用规则。
8. JVM 还会受可见 CPU 数影响
JVM(Java 虚拟机)会依据它识别的可用处理器数,调整 GC 线程、ForkJoinPool(用于任务拆分和工作窃取的线程池)默认并行度等。CPU 配额决定执行预算,JVM 对 CPU 数的认知则影响它安排多少并行任务;两者不匹配时,线程可能集中争用预算。
容器 CPU 配额、cpuset(允许任务运行的 CPU 集合)、JDK 版本和显式 -XX:ActiveProcessorCount 都可能影响结果。不同 JDK 大版本及补丁版本的容器识别行为有差异,不能假设所有环境都采用同一计算方式。
在目标 JDK 和容器环境中检查;以下管道依赖 Bash 环境中的 grep。这些命令启动的是用于诊断的新 JVM,若要对照应用,需带上应用实际使用的相关 JVM 参数:
bash
java -XshowSettings:system -version
java -XX:+PrintFlagsFinal -version | grep ActiveProcessorCountActiveProcessorCount 改变 JVM 对处理器数的认知,不改变内核的 CPU 配额,也不保证应用所有自定义线程池都会跟随调整。手工设置它可能改善某些并行度误判,也可能降低吞吐或让线程数不匹配真实配额,应在相同负载下比较吞吐、P99 和节流增量。
9. 反例与正例
反例:只按平均值设置 limit
text
过去一周平均 CPU 0.4 Core,所以 limit 设置为 0.5 Core。平均值没有覆盖发布预热、GC、流量突发和 P99 路径。
正例:按时间分辨率验证
text
1. 记录请求吞吐与延迟分位数
2. 记录 CPU 使用与 Throttling 增量
3. 用生产相似突发模型压测
4. 比较不同 request/limit 下的吞吐、P99 和节点影响
5. 为发布、GC 和故障降级保留余量10. 排查决策
先确认目标容器实例、实际 cgroup 层级和采样窗口,再使用下面的分支。节流增加只是配额方向的线索,不能仅凭一个指标认定接口超时原因;没有观察到增加,也可能是读错层级或错过故障窗口。
图表将在阅读到此处时加载…
图中的超卖指节点承载的 CPU 需求超过当时可提供的能力,邻居指同节点其他工作负载;I/O 是输入输出等待,Safepoint 是 JVM 执行部分全局操作时需要线程到达的安全点。节点竞争、配额节流和应用内部等待可以同时存在,应逐项对齐时间线。
11. 容易踩的坑
11.1 CPU 低于 limit 就排除节流
先核对统计窗口和展示口径,再看短周期配额的证据;一分钟的平均值不能描述每个配额周期。
11.2 增大线程池解决 CPU 慢
更多可运行线程可能更快耗尽配额,并增加上下文切换。
11.3 只看 nr_throttled 累计值
累计值只能说明历史上发生过节流。定位当前延迟需要同一实例在故障窗口内的增量,并确认分母有效。
11.4 移除 limit 后不做容量保护
单 Pod 可吞噬节点空闲 CPU,影响同节点其他工作负载。
11.5 把 CPU request 当保留物理核心
普通共享 CPU 场景中 request 主要用于调度需求判断和竞争权重,不等于独占核心。CPU Manager 是 Kubernetes 管理容器 CPU 分配的组件;其静态策略等专用场景需结合配置和工作负载条件单独验证。
12. 总结
CPU limit 限制的是时间窗口内可消耗的 CPU 时间,分钟平均利用率低也可能发生严重 Throttling。
可以带走的三个核心要点:
- request 参与调度与竞争权重,limit 常转为 cgroup 带宽配额,两者不是同一作用。
- 多线程突发能快速耗尽一个周期的 quota,造成 Runnable 线程等待下一周期。
- 排查必须把
cpu.stat增量、P99、Node 竞争和应用并行度放在同一时间窗口。
下一篇:Service 有 ClusterIP,流量到底去了哪里:服务发现与转发链路。
应用与排障导航
- 从 OS 线程追到 Java 热点栈:Java 并发 14 - Java 进程 CPU 飙高排查
- 评估 commonPool 并行度与 CPU 配额:Java 并发 12 - ForkJoinPool 与并行流
- 线程池并发过大可能更快耗尽 quota:Java 并发 09 - ThreadPoolExecutor 参数与容量设计