外观
CPU 不高,Load 却很高:从线程状态到配额的排查闭环
主机 CPU 利用率不高,服务仍可能因为等待调度、配额限制或资源等待而变慢。本文面向系统学习后端开发的程序员,从线程状态讲起,再用同一时间窗口内的证据区分原因,判断该优化计算、调整并发,还是处理等待的资源。
1. 场景:同样是慢,为什么扩 CPU 有时完全没用
考虑一个教学场景:发布后,少数慢请求的耗时明显增加,也就是接口的长尾时延上升;主机 CPU 均值不高,Load 却持续增加。加线程、扩 CPU、查磁盘分别针对不同原因,先要确定请求停在哪个阶段。
请求进入应用后,可能先在任务队列里等待工作线程。线程接手后,又可能在三个状态之间反复切换:获得 CPU 执行指令;已有执行条件,但等待调度;等待锁、I/O(输入输出)等资源,暂时无法继续执行。由此可以拆分请求耗时:
text
请求耗时 = 应用排队 + 多段实际执行 + 多段就绪等待 + 多段资源等待这个模型用来定位时间花在哪里,不能把四个监控数字直接相加。一次调用会多次执行和等待,一个请求也可能由多个线程接力处理。增加 CPU 主要帮助需要执行的工作;如果关键线程在等资源释放,更多 CPU 不会直接解除这份等待。
本文的 Linux 命令面向提供 /proc 的系统,mpstat、pidstat 来自 sysstat,ps、vmstat 来自 procps,字段以目标版本手册为准。cgroup 示例采用 v2。Python 练习只计算教学快照,不压测 CPU。
2. 先把 CPU、Load 和线程状态分开
CPU 利用率回答“这段时间有多少 CPU 时间被使用”。线程真正执行时才消耗相应 CPU 时间;等待期间,请求耗时仍在增加,但不一定增加该线程的 CPU 时间。本文的“核”按工具所观察的逻辑 CPU 理解。
Load average(平均负载)关注任务负载:Linux 将可运行任务和计入负载的不可中断等待任务纳入统计,再形成平滑指标。可运行既包括正在执行,也包括等待调度;资源等待则要区分状态,不能把所有睡眠线程都算进 Load。因此 CPU 利用率低和 Load 高可以同时出现:一部分任务没有执行,却仍计入负载。1、5、15 分钟值用于观察不同时间尺度的趋势,不是三段简单的算术滑动平均。
| 指标或状态 | 回答的问题 | 不能推出的结论 |
|---|---|---|
| 用户态 / 内核态 CPU 时间 | 执行应用指令 / 内核服务花了多少时间 | 内核态高就一定是内核故障 |
| R:running/runnable | 正在运行,或已经就绪等待调度 | R 的线程全都正在同时执行 |
| S:可中断睡眠 | 等待事件、定时器、锁等,具体原因还要看栈 | S 就是异常,或 S 都计入 Load |
| D:不可中断睡眠 | 处于相应内核等待状态,常见于 I/O 等路径 | 一定是本地硬盘故障 |
| Load 的 1/5/15 分钟值 | 不同时间尺度上的负载趋势 | 当前业务队列长度、P99 或 CPU 饱和度 |
| 每核利用率 | 有没有局部执行热点 | 全机均值低就没有 CPU 瓶颈 |
| CPU 压力(PSI) | 可运行工作因 CPU 不足而停顿的压力 | 具体哪个方法在计算 |
| 控制组(cgroup)节流增量 | 配额规则是否限制了该组执行 | 节流一次就证明它造成全部超时 |
PSI(Pressure Stall Information,资源压力停顿信息)描述资源不足造成的任务停顿。some 表示至少部分任务发生相应停顿的时间比例,total 是累计停顿微秒数。比较累计量时,要对同一统计范围取同一时间窗口内的增量,不能把各线程的等待时间相加。系统级 CPU full 没有通常意义上的定义,不能用其零值证明 CPU 无压力。
Linux /proc/loadavg 的第四字段是“当前可运行调度实体 / 现存调度实体”。这里统计的是内核调度的任务,并非正在处理的业务请求比例。Load 通常不是按容器 CPU 限额归一化的专属指标,不能把容器内看到的数直接除以它的 CPU limit(CPU 使用上限)。
基础解释见 调度与上下文切换,锁导致的自旋和睡眠差异见 原子操作、阻塞与 futex。
2.1 先读懂 CPU 时间分类,再解释高低
下表是 Linux 常见计账含义,不要求读者手工解析 /proc/stat。top、mpstat 和 vmstat 的列名、是否拆分、首样本与归一化方式并不完全相同,先确认目标工具配置。
| 常见分类 | 基础含义 | 下一份证据与边界 |
|---|---|---|
| user / us | 普通用户态执行时间 | 关联目标进程、线程与代码热点,不把全机计算归给一个服务 |
| nice / ni | 被计入相应 nice 类别的用户态时间 | 不是优先级数字,也不是优先级越低耗时越少 |
| system / sy | 内核态执行时间 | 系统调用、复制、内存与网络等都可能参与,不等于“内核坏了” |
| irq / hi、softirq / si | 硬中断与软中断服务时间 | 结合接口、软中断及处理路径,不直接当业务处理时长 |
| idle / id | 相应空闲时间 | 主机空闲不解除某线程的亲和性、组配额或串行等待 |
| iowait / wa | 相应空闲期间的 I/O 等待计账线索 | 多核计账有局限且数值不总可靠,不是应用磁盘等待总和 |
| steal / st | 虚拟化环境中被占用而未交给该虚拟 CPU 的时间线索 | 结合虚拟化平台与同窗执行量,不等于 Linux cgroup 配额节流 |
分类解释依据 proc_stat(5)。不能把 st 与 throttled_usec 相加成请求停顿,也不把高 sy 一律优化为减少线程;先看具体工作与时间线,再做取舍。
2.2 为什么“Load 大于核数就是故障”不成立
如果负载主要是可运行的计算任务,和可用执行能力比较,有助于判断排队;但 Load 还可能包含不可中断等待,主机核数又未必是服务的执行预算。即使存在排队,批处理仍可能满足它的完成时限。
判断是否需要扩 CPU,应同时核对业务时限、R/D 状态构成、每核利用率和服务实际可用的执行能力。若任务主要卡在资源等待上,扩 CPU 就没有直接针对这个瓶颈。
2.3 为什么主机空闲,容器仍可能慢
cgroup(控制组)用于对一组任务计账并限制资源。CPU 配额中的 quota 是每个周期可消耗的总 CPU 时间,period 是周期长度;quota / period 描述名义上的平均 CPU 预算,并非固定给一个线程一颗核。
控制组有层级,目标组的父组及更上层的祖先组也可能限制执行。此外,cpuset 限定组允许使用的 CPU 集合,线程 affinity(亲和性)限定线程允许运行的 CPU 范围,竞争权重影响任务竞争 CPU 时的分配。这些约束不能用主机总核数代替。
多个线程并行执行时,会共同消耗组的 CPU 配额。短时间用完配额后,执行可能被推迟,这称为节流(throttling)。即使主机还有空闲 CPU,受限制的组也不能因此突破配额,所以分钟级主机均值低不能排除服务执行不足。
节流计数上升只是线索:还要确认它发生在慢请求窗口内,且相关线程当时需要 CPU,才能支持配额导致延迟的解释。完整规则见 cgroup 资源控制。
3. 用一张图决定下一份证据
图表将在阅读到此处时加载…
这些分支可以同时存在。例如,持锁线程被 CPU 节流后,不能及时继续执行并释放锁;其他线程因等待这把锁而睡眠,工作线程处理变慢又使应用队列增长。排查时应沿这条等待链找到最先阻止工作推进的环节。
4. 命令实战:先采小窗口,再追到线程
以下命令用于 Linux,PID 是进程编号,应将 12345 换成目标进程。命令只做有限采样,不要求 root;能否读取目标信息仍取决于权限和系统配置。工具缺失或输出不可读时,不能据此认定对应资源没有异常。
bash
# Bash;采集同一目标,先确认它的命令和启动时间。
pid=12345
if ! ps -p "$pid" -o pid,lstart,args; then
printf '目标不存在或不可见,停止采集\n' >&2
exit 1
fi
# 每核三次采样,识别全机平均掩盖的热点。
mpstat -P ALL 1 3
# 目标线程的三次区间采样;工具版本可能有字段差异。
pidstat -u -t -p "$pid" 1 3
# 状态和等待位置仅是快照;wchan 不可读不代表没有等待。
ps -L -p "$pid" -o pid,tid,stat,pcpu,wchan:32,comm
# 第一行通常是启动以来统计,后续行才用于当前窗口比较。
vmstat 1 4
# PSI 依内核配置与权限提供;此处只读一次,不制造压力。
for resource in cpu memory io; do
if [ -r "/proc/pressure/$resource" ]; then
printf '\n%s pressure\n' "$resource"
cat "/proc/pressure/$resource"
fi
done这些工具按顺序执行,窗口并不完全重合:适合初筛,不足以证明毫秒级因果。生产关联优先用现有监控中相同时间戳和实例标签的数据,必要时在批准窗口协调有限并行采样。
读输出时,先看 mpstat 是否只有少数逻辑 CPU 忙,再看 pidstat 中哪些线程在采样区间内持续消耗 CPU,最后结合 ps 的状态和等待位置选择下一步。ps 的 pcpu 通常是进程或线程生存期的 CPU 比例,不能直接与 pidstat 的当前区间比较。
D 状态需要有限重复快照:瞬间进入 D 不等于长时间卡死。wchan 是内核等待位置的线索;调用栈则显示执行或等待所经过的函数路径。单个等待位置不能代替完整调用栈,也不能说明谁持有线程正在等待的资源。
4.1 cgroup:不要硬编码“看起来像容器”的路径
先查看 /proc/PID/cgroup 和实际挂载视图,再按 cgroup 16 的定位步骤确定目标组及可见祖先。在已确认的 v2 目录中,cpu.max 用于查看配额和周期,cpu.stat 提供使用与节流累计量,cpuset.cpus.effective 显示有效 CPU 集合。间隔固定时间读取两次 cpu.stat,比较 usage_usec、nr_periods、nr_throttled、throttled_usec 的增量,才能观察这段时间的使用和节流情况。
注意三个边界:
nr_throttled增量除以nr_periods增量,表示发生节流的周期比例;分母为零时不能求比值。它不表示丢失了多少请求,也不是精确 CPU 使用率。throttled_usec是相应实现口径的累计节流时间,不能直接当作单请求等待时间,也不能在未确认计账关系时跨层相加。- 看不到祖先不代表祖先没有限制;组重建、迁移或计数复位后,两次值不可直接相减。
容器生产定位见 CPU Limit 与 Throttling。
5. 最小练习:同一个 CPU 时间,为什么有三个百分比
CPU 百分比需要先确定分母。CPU 时间是线程获得执行的累计时间,实际经过时间则是观察窗口的长度。用 CPU 时间增量除以窗口秒数,得到平均使用的核数,再按单核、全机或名义预算换算,才得到不同展示口径的百分比。
下面的程序使用 Python 3.7+(标准库包含 dataclasses),无需 Linux,不启动忙循环。快照是教学输入,不是机器实测:5 秒内累计 CPU 时间增加 4 秒,因此平均使用 4 / 5 = 0.8 核。
python
# Python 3;保存为 cpu_window.py,运行 python3 cpu_window.py。
from dataclasses import dataclass
from math import isfinite
@dataclass(frozen=True)
class Snapshot:
identity: str
elapsed_seconds: float
cpu_seconds: float
def used_cores(before, after):
# identity 应包含实例代次,实际采集不能只依赖可重用的 PID。
if not before.identity or before.identity != after.identity:
raise ValueError("实例身份不同,不能求差")
values = (before.elapsed_seconds, after.elapsed_seconds,
before.cpu_seconds, after.cpu_seconds)
if any(isinstance(value, bool) or not isinstance(value, (int, float))
or not isfinite(value) or value < 0 for value in values):
raise ValueError("计数必须有限且非负")
interval = after.elapsed_seconds - before.elapsed_seconds
consumed = after.cpu_seconds - before.cpu_seconds
if interval <= 0 or consumed < 0:
raise ValueError("窗口无效或累计计数复位")
return consumed / interval
before = Snapshot("service-generation-1", 10.0, 2.0)
after = Snapshot("service-generation-1", 15.0, 6.0)
cores = used_cores(before, after)
print(f"使用的平均核数: {cores:.2f}")
print(f"单核为100%的展示: {cores * 100:.1f}%")
print(f"教学假设主机8核: {cores / 8 * 100:.1f}%")
print(f"教学假设名义预算1核: {cores / 1 * 100:.1f}%")
assert abs(cores - 0.8) < 1e-9
# 验证坏输入被拒绝,不默默生成貌似合理的监控数值。
for invalid in (Snapshot("new-generation", 15.0, 6.0),
Snapshot(before.identity, 10.0, 6.0),
Snapshot(before.identity, 15.0, 1.0)):
try:
used_cores(before, invalid)
except ValueError:
pass
else:
raise AssertionError("无效快照未被拒绝")预期输出:平均使用 0.80 核,三个展示口径分别为 80.0%、10.0%、80.0%。多个线程可以同时在不同核上执行,因此它们的累计 CPU 时间可以超过实际经过时间,以单核为 100% 的展示也可以超过 100%。
“占名义预算 80%”不是测得了饱和度;它忽略周期内突发、亲和性和祖先竞争。这也解释了为什么不能拿一个百分比判断排队。真实采集应使用单调时钟计算经过时间,避免系统时钟调整影响窗口;同时确认实例身份、启动代次和计数连续性,防止把重启前后的累计值相减。
6. 从候选走到根因:必须能提出反证
反证是与假设不相符的观察。例如,怀疑配额不足,但慢请求发生时线程一直在等上游响应,就要重新评估配额能否解释这次延迟。只有支持证据和反证都经过检查,干预才有明确目标。表中的自旋指反复检查条件而不进入睡眠等待,可能持续消耗 CPU。
| 假设 | 支持证据 | 应主动寻找的反证 | 有边界的干预 |
|---|---|---|---|
| 重复计算或自旋热点 | 同窗口 CPU 时间增长,热点采样反复落在相关代码 | 线程多数等待,热点来自正常批处理且满足时限 | 小范围降低重复工作或修正重试,比较每请求 CPU 成本 |
| 配额不足或短时突发 | 目标及祖先节流增量与排队、延迟同窗 | 同窗口无节流,线程受串行依赖或外部等待限制 | 先限入口并发;有资源预算时小范围调配额 |
| 局部串行热点 | 单线程持续计算、少数核忙,其余核闲 | 工作确实可并行但被亲和性或组限制 | 拆分串行阶段或修正不合理绑定,不盲目加线程 |
| I/O 或回收等待 | 重复 D、相应等待栈、I/O 或内存压力同窗 | D 很短暂,存储无异常,慢点实际在上游 | 减少相应后台读写,或按内存/磁盘专项处理 |
| 锁或应用排队 | 等待者、持有者与队列增长可关联 | 单份栈无法重现,队列在另一阶段增长 | 限流、缩短持有期,追持有者为何变慢 |
对 Java,OS TID(内核线程标识)可用于关联平台线程栈的 nid,不能和 Java Thread ID 普遍画等号;虚拟线程也不长期一一绑定 OS 线程。热点和栈的对应方法见 Java CPU 飙高排查,等待链见 Java 锁竞争与长尾。
7. 容易踩的坑:把降低数字当修复
- 反例:加线程让队列暂时变短。正例:先看实际执行预算和任务是否可并行。 多线程可能增加切换、锁竞争和配额突发,并把等待搬到下游。
- 反例:CPU 低就认定磁盘慢。正例:区分 S、D、就绪等待和应用排队。 等网络响应、限流或锁都可能 CPU 低。
- 反例:看到 iowait 就算出应用被磁盘阻塞的时间。正例:同时关联任务和存储证据。 iowait 是 CPU 计账线索,不是任务级等待计时器。
- 反例:提高优先级“抢回性能”。正例:先明确调度策略与影响范围。 无根因地调整优先级可能伤害其他任务,实时策略更有饥饿风险。
- 反例:扩容后 CPU 降低就成功。正例:复测失败条件。 还要看相似流量、队列年龄、超时、P99(99% 请求不超过的时延)、正确性与下游压力。
干预必须有持续时间、回退条件和负责人。限流降低延迟时也要核对拒绝率,不能只统计成功请求;重试减少时要核对最终成功率,避免把用户失败藏进“性能提升”。
8. 延伸阅读、名词解释与依据
- 前置:Linux 诊断命令与证据边界,用于限定对象和时间窗口。
- 概念解释:调度、cgroup,分别解释就绪等待与配额约束。
- 相关排障:内存增长、磁盘与 I/O,当证据指向回收或存储时继续,而不是见到 Load 就跳过去。
| 名词 | 回查解释 |
|---|---|
| Load average | Linux 的平滑任务负载指标,不是 CPU 百分比 |
| Runnable | 已有执行条件,正在运行或等待调度 |
| CPU time / Wall time | 获得执行的累计时间 / 实际经过时间 |
| Affinity / cpuset | 线程允许运行的 CPU 范围 / 组级 CPU 集合限制 |
| Throttling | 资源规则耗尽预算后推迟执行 |
| Steal / iowait | 虚拟 CPU 未获交付的时间线索 / CPU 侧 I/O 等待计账,均不能直接换算为请求延迟 |
| PSI | 相应资源不足造成的任务停顿时间统计 |
指标定义可查阅以下 Linux man-pages、Linux 内核 PSI 与 cgroup v2 文档;具体字段和行为应结合目标内核与工具版本理解:
9. 一句话总结与三个要点
CPU 和 Load 是定位入口,只有把线程状态、有效预算与业务等待连接起来,才知道该优化计算、限制并发还是处理资源故障。
- CPU 百分比、Load、队列和长尾不是同一种指标,先对齐对象与窗口。
- 区分执行、就绪和阻塞,再用线程、配额、内存或存储证据验证候选。
- 每次干预只改可解释变量,并复测拒绝、正确性、长尾和下游影响。