外观
16 - CPU 和内存限制怎样作用于进程:cgroup 层级、计账与资源控制
摘要
机器有空闲 CPU,服务却被节流;当前组的配置写着 max,进程为什么仍受限?cgroup 按任务所属的组控制资源,子组还要遵守祖先组的约束。因此,主机余量和当前组的配置都不能单独说明服务的可用预算。本文先解释组、成员、计账与层级,再区分 CPU 权重和配额、内存水位、I/O 与任务数量限制,最后通过只读检查和算术示例说明排障方法。
阅读指引
- 前置阅读:调度与 CPU 预算、回收与 OOM、namespace,先分开执行、计账和观察视图。
- 本文定位:cgroup 的统一基础模型与跨资源限制关系,不重复 CPU 节流或内存 OOM 专项文章的全部细节。
- 适用范围:主要讲 cgroup v2 的普通 domain(资源域)模式,即以进程及其线程整体组织资源的基础模式。v1、混合挂载、threaded(线程化)模式有不同规则;控制器是否可用还取决于内核支持和管理权限,不把 v2 文件名套到全部 Linux。
- 示例边界:成员检查只读取当前进程可见的信息,现场命令只读取已确认的目录;算术示例不写 cgroup、不迁移服务、不耗尽资源。成员检查需要 Linux 的
/proc,没有该接口时会提示不可用;层级定位与事件解释取决于目标环境。
1. 场景:主机资源有余量,为什么这个服务仍慢
假设服务的 Java 堆没满,主机 CPU 也有空闲,但请求延迟上升。容器内读取某一层 cpu.max 显示 max,于是有人宣布“没有 CPU 限制”。
max 只说明这一层没有对应的 CPU 带宽上限。若上层组限制了共享预算,服务仍然受它约束;若允许执行的 CPU 集合很小,其他 CPU 空闲也未必能用。竞争时的权重和容器内可见的层级也会影响判断。另一个服务线程创建失败,则可能涉及 pids 控制器的任务数量预算,而不只是文件数或 Java 堆不足。
先问三件事:
- 哪些任务属于这个组,子进程是否继承成员关系?
- 哪些控制器已启用,约束落在哪层?
- 当前观察者能否看见相关祖先,资源计数与慢请求是否来自同一时间窗口?
Cgroup 是一组有范围的资源规则,不是一个“容器限制数字”。
2. 基础地图:组、成员、控制器与层级
Control Group,即控制组,把任务组织成树状层级。这里的“任务”统称内核管理的进程或线程;“计账”指把资源使用量记到相应组,而不只是看某个进程的应用指标。Controller,即控制器,负责某一类资源的计账、分配或限制,例如 CPU 控制器管理执行时间预算,memory 控制器管理内存计账与边界。
树中的每个节点是一个组。某组的直接上层叫父组,沿父组向上经过的节点统称祖先组;同一父组下的子组是兄弟组。假设父组下有服务 A、B,父组的预算约束这个范围内的总使用量,A、B 的局部限制再约束各自范围。因此,A 的配置即使没有上限,也不代表它能绕过父组,更不代表父组预算全部归 A。
图表将在阅读到此处时加载…
图中的控制器规则作用于服务组,并不是一个额外的成员任务。每个目录也不会自动启用所有控制器;threaded 模式的线程组织规则不能直接套用普通 domain 模型。
| 对象或文件 | 职责 | 关键边界 |
|---|---|---|
| cgroup 目录 | 表示一个层级节点 | 不只是普通目录,接口由内核提供 |
cgroup.procs | 普通模式中列出/迁移相应进程成员 | 读取不是永远不变快照,操作有权限和模式条件 |
cgroup.controllers | 当前节点可供下层使用的控制器信息 | 不等于所有控制器已在所有孩子生效 |
cgroup.subtree_control | 控制对后代启用哪些控制器 | 有层级和成员约束,不是随意写字符串即可成功 |
| 控制器接口文件 | 计账、权重、限制或事件 | 按类型和内核版本解释,不跨资源相加 |
| 父子层级 | 资源分配与计账范围 | 孩子的局部 max 不解除祖先限制 |
在普通 v2 模式中,fork 创建的子进程通常继承父进程的成员组;exec 只替换运行的程序,不自动换组。因此,服务创建子进程不会自然获得一份独立于原组的资源预算。通过 cgroup.procs 迁移进程涉及整个进程的线程;threaded 模式还有自己的线程迁移边界。
2.1 控制器启用与委派为什么不能省略
控制器可用和控制器已启用是两件事:cgroup.controllers 列出当前节点可供下层使用的控制器,cgroup.subtree_control 则决定向下启用哪些控制器。只看见一个 cgroup 目录,不能推断所有资源接口都已生效。
Delegation,即委派,是把某棵受约束子树的管理权限交给管理者,让它组织子组和配置资源。委派不解除祖先限制,也不等于给进程 root 身份;容器运行时或 systemd 可能负责管理这段层级。
普通 domain 控制器的分配还涉及“无内部进程”约束:一个组向子组分配这类资源时,不能同时在该组内直接放置进程。根组与 threaded 模式有例外,具体操作必须核对目标模式。这也解释了为什么创建目录、写入 PID 的模板不一定成功,尤其不能直接套到已由管理器托管的服务上。
成员迁移也不是把历史成本瞬间全部转移:例如已经发生的内存计账有自己的生命周期和迁移规则。不能把切换 cgroup 当作清零资源使用或规避限制的办法。
3. 资源速查:权重、限制与保护不是同义词
| 资源 | 常见 v2 接口 | 主要作用 | 易混淆边界 |
|---|---|---|---|
| CPU | cpu.weight、cpu.max、cpu.stat | 相对份额、带宽预算、执行/节流计数 | 权重不是固定核数;配额不规定唯一执行 CPU |
| CPU 位置 | cpuset.cpus、cpuset.cpus.effective | 配置与实际可用 CPU 集合 | 空或配置范围不自动等于实际可用范围 |
| 内存 | memory.current/high/max/stat/events | 计账、回收压力、硬边界与事件 | 不只算 Java 堆;high 不是直接 kill 开关 |
| Swap | memory.swap.current/max | 交换后备的相应计账与边界 | 不与驻留限制当同一指标 |
| 块 I/O | io.stat、io.max、io.weight | 设备范围计账、速率边界与分配权重 | 支持和路径依内核、设备、文件系统,不表示 HTTP 带宽 |
| 任务数量 | pids.current/max/events | 限制适用任务创建 | 计入线程等任务,不只是业务进程个数 |
| 资源压力 | 相应 *.pressure | 停顿时间口径 | 不是容量百分比,不与执行计数混用 |
表中的 memory.current/high/max/stat/events 是 memory.current、memory.high 等多个文件的简写,其他带斜杠的接口同理。资源压力接口使用 PSI(Pressure Stall Information,资源压力停顿信息)描述任务因资源不足而停顿的时间,不表示还剩多少容量。
控制器暴露的字段随内核版本和启用状态变化。接口缺失时,应区分控制器未启用、内核不支持和当前视图不完整,不能直接判定该资源没有限制。
3.1 权重用于竞争,limit 用于边界
Weight,即权重,表达特定竞争范围中的相对分配关系。没有竞争时,低权重任务仍可能用空闲资源;不同资源的权重机制也不能统一换算。
Limit,即限制,规定适用范围内的使用上限,不承诺一定能获得这份资源。子组限制之和可以超过父组预算,但实际使用仍要遵守祖先边界;给两个子组各设置“1 Core”的上限,不会让父组凭空增加两个核的资源。
Memory Protection,即内存保护,指 memory.low、memory.min 等接口在相应条件下影响内存回收时的保护程度。它不是已经为进程分配并驻留在 RAM 中的同量内存。分析时要同时考虑保护规则、使用上限和机器实际可分配的物理内存。
4. CPU:可并行位置、可执行时间与竞争份额
cpu.max 使用 quota period 两个字段,单位为微秒:quota 是配额,即一个周期内的合计 CPU 执行时间预算;period 是预算周期。配额字段为 max 表示该层没有此带宽上限,祖先仍可能有限制。默认配置要读取目标环境,不能假定所有服务相同。
text
教学配置:cpu.max = 100000 100000
某一周期内相应组最多获得约 100000 微秒 CPU 时间。
这是合计执行预算,不是“只允许一个线程”或“只能在一个 CPU 上运行”。多个线程并行运行时,各线程的 CPU 执行时间合计消耗预算,所以并行度越高,越可能在一个周期结束前耗尽配额。预算耗尽后,在适用条件下,任务即使已经准备好运行,也要等待后续预算;这就是 CPU 节流(throttling)。因此,主机仍有空闲 CPU,服务也可能暂时不能继续执行。长时间窗口的平均利用率会掩盖这种短时等待,深入见 CPU Limit 与 Throttling。
Cpuset 是配置允许使用的 CPU 集合的机制,cpuset.cpus.effective 表示实际可用集合;任务亲和性(affinity,即任务被允许在哪些 CPU 上执行)和在线 CPU 状态也会限制执行位置。带宽预算回答“能运行多久”,执行位置回答“能在哪运行”,权重回答“竞争时怎样分配”。其中一项充足,不会解除其他项的约束。
4.1 祖先上限不等于孩子的固定保障
若父组相应长期平均上限为 1 Core,孩子本地上限为 2 Core,孩子不能因此突破父组;若兄弟也在竞争,孩子实际获得可能更少。不同周期、突发设置和调度细节还会改变短窗口表现。
quota / period 表示平均最多可使用多少个 CPU 核的执行时间:比例为 1,就是这里所说的 1 Core,并不表示绑定一个物理核。对比各层比例可以帮助理解长期上限,但比例的最小值不是每毫秒的固定保障,也不能直接推出 P99(99% 请求延迟不超过的值)。
4.2 两个服务共享父组:用小算例分清上限与份额
以下是教学假设:父组 cpu.max=100000 100000,A、B 两个孩子各配置 200000 100000,允许 CPU 足够多,都是普通公平调度任务。暂不考虑突发额度、其他竞争和调度细节。
| 状态 | 能建立的预算直觉 | 不能承诺什么 |
|---|---|---|
| 只有 A 持续需要 CPU | A 可以使用父组允许的空闲预算,但长期合计不能越过父组约 1 Core 上限 | A 的局部 2 Core 是固定保障 |
| A、B 都持续需要 CPU,权重相同 | 在该竞争范围内,父组可分配时间按相近份额竞争 | 每个请求精确得到一半 CPU,或每毫秒各运行半毫秒 |
| A、B 都持续需要 CPU,权重为 100 与 300 | 理想持续竞争下可用份额的直觉是 1:3,而不是两个绝对核数 | A 必定有 0.25 Core 保底,或 B 无条件能拿到 3 Core |
| A 被 affinity 限制在一个繁忙 CPU | 即使带宽还有余量,也可能因执行位置和竞争等待 | 提高 cpu.max 必定增加 A 的实际执行量 |
权重比较要在正确兄弟层级和竞争条件下进行;不能把不同祖先下两个 cpu.weight 直接相除。上表只解释分配模型,不是实际调度测量。依据为 Linux 6.6 cgroup v2 的资源分配模型与 CPU 接口。
5. 内存、I/O 与 pids:不要只盯 CPU
5.1 内存:计账类别、范围与事件
memory.current 是控制组范围的当前内存计账值,不能等同于某个进程的 RSS(驻留集大小,即当前驻留在物理内存中的相应进程页面),也不等同于 Java heap(堆)。组内任务不只使用堆,还可能使用匿名页、文件缓存和内核内存。匿名页是不以普通文件作为后备的页面,文件缓存则用于缓存文件内容;各类内存有自己的计账规则。memory.stat 可帮助拆分这些类别,但部分字段互相包含,不能把所有字段相加当总量。
memory.high 是高水位边界,超过它可使任务承担更多回收工作并受到节流。因此,服务可能还没有被杀死,请求就已因回收和等待变慢。memory.max 是硬限制,达到边界且回收等手段仍不能满足需求时,可能进入 OOM(Out of Memory,内存不足)处理路径。高水位、分配失败和杀进程不是同一个动作,深入 回收、Swap 与 OOM、容器内存。
例如读取服务组的 memory.events 看见 high 增量,说明发生了对应高水位事件,不直接等于“某个 Java 对象泄漏”。按 Linux 6.6 文档,memory.events 采用层级口径,可包含子组事件;memory.events.local 则只看当前组。应先确定哪个范围增长,再区分 high、max、oom 与 oom_kill,它们不是同一件事的四种写法。实际内核、挂载选项和可见文件仍须核对,不能将父子层级的事件全部相加,重复计算一次故障。
5.2 I/O:设备规则不是文件或网络规则
io.max 可按块设备指定读写字节率或 IOPS(每秒 I/O 操作次数)等约束。一个文件的读写可能经过文件系统、缓存和多层块设备,缓冲写入也可能稍后才回写到设备。因此,设备身份、叠加层、回写计账归属与控制器支持都会影响结果,不能把某个设备的限制当成所有文件路径的统一限速。
块层 io 不是网络出口带宽控制器,不能用它解决 HTTP 流量过多。实际 I/O 路径与指标见 块 I/O,网络规则需要另一套机制。
5.3 pids:线程创建也消耗任务预算
pids 控制器按内核任务计数,线程也计入这个预算。pids.current 是当前任务数量,pids.max 是任务数量上限;一个拥有大量线程的 Java 进程,也可能接近创建边界。
达到创建边界可能表现为 fork 或线程创建失败。成员迁移或后续降低上限等管理操作可产生 current 大于 max 的状态,不代表内核必须即时杀掉已有任务。限制与存量处理不是同一动作。
Java 创建线程失败还可能涉及线程栈、本地内存(native memory,即 JVM 堆之外使用的相应内存)、其他限额或权限。不能只凭异常名认定是 pids 控制器,应先确认同一服务实例的限额,再结合任务创建事件与内存证据判断。
6. 可运行实战一:只读成员关系,别自动猜真实挂载
保存为 cgroup_membership_demo.py,使用 Python 3 运行 python3 cgroup_membership_demo.py。程序读取的是这个 Python 进程自己的成员关系与挂载信息,不是自动定位某个业务服务;它不创建组、不迁移任务、不写配置。
python
from pathlib import Path
def main():
source = Path("/proc/self/cgroup")
if not source.exists():
print("Linux cgroup membership unavailable; no limits changed")
return
try:
entries = source.read_text(encoding="utf-8").splitlines()
for entry in entries:
hierarchy, controllers, membership_path = entry.split(":", 2)
if hierarchy == "0" and controllers == "":
print("v2 visible membership:", membership_path)
else:
print("non-v2 entry:", hierarchy, controllers, membership_path)
mountinfo = Path("/proc/self/mountinfo").read_text(encoding="utf-8")
for line in mountinfo.splitlines():
if " - cgroup2 " in line or " - cgroup " in line:
print("visible mount:", line)
print("membership is not proof of unlimited resources")
except (OSError, ValueError) as error:
print("membership inspection unavailable:", type(error).__name__)
if __name__ == "__main__":
main()预期输出包括成员关系行和当前可见的 cgroup 挂载行,具体路径依环境而定。v2 visible membership: 后面的 membership 是成员路径;容器内它可能显示 /,但这个根属于当前 cgroup namespace(控制组命名空间)与挂载视图,不证明宿主机没有祖先限制。
不要把 /sys/fs/cgroup 加上该字符串就当永远正确路径;mountinfo 的根、挂载点、转义字符和 namespace 都影响解析。现场确认路径后再读指标,视图不足时请求节点或平台证据。
7. 可运行实战二:计算长期上限直觉与事件增量
保存为 cgroup_budget_demo.py,使用 Python 3 运行 python3 cgroup_budget_demo.py。例子只处理教学文本和快照,不模拟内核调度、不分配大内存。快照中的 identity 代表组实例身份,monotonic 代表单调时钟的采样时间;求差前必须确认实例一致、时间递增、计数没有倒退,否则组重建等变化可能被误算成事件增量。
python
from math import isfinite
def average_core_cap(cpu_max):
parts = cpu_max.split()
if len(parts) != 2:
raise ValueError("需要 quota 与 period 两个字段")
quota, period_text = parts
period = int(period_text)
if period <= 0:
raise ValueError("period 必须为正")
if quota == "max":
return None # 只表示该层无此上限,不替祖先作判断。
quota_value = int(quota)
if quota_value <= 0:
raise ValueError("quota 必须为正")
return quota_value / period
def counter_delta(before, after, field):
if not before["identity"] or before["identity"] != after["identity"]:
raise ValueError("组实例不同,不能求差")
if any(isinstance(value, bool) or not isinstance(value, (int, float))
or not isfinite(value) or value < 0
for value in (before["monotonic"], after["monotonic"])):
raise ValueError("时间必须是有限非负数")
if after["monotonic"] <= before["monotonic"]:
raise ValueError("采样时间必须递增")
if any(isinstance(value, bool) or not isinstance(value, int) or value < 0
for value in (before[field], after[field])):
raise ValueError("本例周期计数必须是非负整数")
delta = after[field] - before[field]
if delta < 0:
raise ValueError("计数倒退:需要检查组重建或快照范围")
return delta
def main():
parent_cap = average_core_cap("100000 100000")
child_cap = average_core_cap("200000 100000")
assert parent_cap == 1 and child_cap == 2
assert average_core_cap("max 100000") is None
print("illustrative ancestor-constrained average ceiling:",
min(parent_cap, child_cap)) # 不是实际份额或短窗口保障。
before = {"identity": "demo-group-A", "monotonic": 10.0,
"nr_periods": 100, "nr_throttled": 4}
after = {"identity": "demo-group-A", "monotonic": 12.0,
"nr_periods": 120, "nr_throttled": 9}
periods = counter_delta(before, after, "nr_periods")
throttled = counter_delta(before, after, "nr_throttled")
assert periods == 20 and throttled == 5
print("illustrative throttled period ratio:", throttled / periods)
try:
counter_delta(after, before, "nr_periods")
except ValueError:
pass
else:
raise AssertionError("应拒绝不连续快照")
if __name__ == "__main__":
main()预期输出:
text
illustrative ancestor-constrained average ceiling: 1.0
illustrative throttled period ratio: 0.25教学快照中,nr_periods 增加 20,nr_throttled 增加 5,比例为 5 / 20 = 0.25。它表示相应统计口径中发生节流的周期比例,不是 25% 请求失败,也不是经过的实际时间有 25% 被暂停。真实计算要核对字段、控制器、同组身份、采样窗口与重建情况;分母为零时不能计算比例。
8. Linux 只读排障:成员、接口、祖先、时间
现场检查按四步进行:先确认目标进程的成员关系,再结合观察者挂载信息定位目录,随后读取当前组及可见祖先的接口,最后用同一组实例的两次采样求事件增量,并与业务延迟窗口对齐。下面的命令需要 Linux、读取权限和已确认的目标 PID;PID 是当前视图中的进程标识,不能直接套用另一容器里的编号。
bash
# 12345 换成当前视图中已确认的目标 PID。
target_pid=12345
cat "/proc/$target_pid/cgroup"
grep -E ' - cgroup2 | - cgroup ' /proc/self/mountinfo
grep -E '^(Cpus_allowed_list|Threads|VmRSS):' "/proc/$target_pid/status"
# 下面目录是占位示例,必须由成员与挂载核对得出,不能原样复制。
group_dir=/confirmed/cgroup/path
if [ -d "$group_dir" ]; then
for field in cgroup.controllers cgroup.subtree_control cpu.max cpu.weight cpu.stat cpuset.cpus.effective memory.current memory.max pids.current pids.max; do
if [ -r "$group_dir/$field" ]; then
printf '\n%s\n' "$field"
cat -- "$group_dir/$field"
fi
done
else
printf '请先确认真实 cgroup 目录,未读取任何限额\n' >&2
fi只读并不意味着零成本或完整快照,任务成员和计数可在观察时变化。读取局部组后,还要按权限查看相关祖先;不能用当前 namespace 可见根替代主机真实根。
| 现象 | 优先检查 | 不足以成立的结论 |
|---|---|---|
| 主机 CPU 空闲、服务长尾高 | cpu.max、祖先、节流增量、允许 CPU | 有空闲 CPU 就排除资源限制 |
| 子组 max 无限制但仍受限 | 祖先预算、视图与控制器 | 子组文件就是全部资源契约 |
| 一个进程无法创建更多线程 | pids、任务数量、native/栈与其他限额 | 只可能是 Java 堆满 |
| 内存 current 比 RSS 大 | 计账类型、共享、成员与内核/file | 差值全是内存泄漏 |
| I/O 低速高延迟 | 实际设备 io 规则、下层限制与队列 | 本地磁盘宣传带宽足够就排除限制 |
在 systemd 或容器运行时托管环境,配置应由正确管理层下发,避免直接写内核文件与管理器反复覆盖。变更前后记录身份、层级、读回结果和同窗口业务指标,有明确回退,不只看命令退出码。
9. 容易踩的坑与工程取舍
- 反例:namespace 与 cgroup 是同一隔离开关。正例:分开视图、成员与资源规则。 cgroup namespace 只改变部分层级可见性。
- 反例:cpu.weight=100 就是 100% CPU。正例:按竞争范围解释权重。 配额、位置和权重不是同一维度。
- 反例:局部 cpu.max=max 就没有任何限制。正例:核对祖先和真实挂载视图。 子组不能越过祖先边界。
- 反例:pids 只数进程,不数线程。正例:按任务预算检查创建失败。 增大线程池也消耗内存与下游资源。
- 反例:直接迁移服务或改文件是最快优化。正例:遵守托管层、委派与回退协议。 管理动作有权限、模式和历史计账边界。
资源限制是共享机器的风险分配工具,不是性能提升按钮。过紧可能引起节流、回收和失败,过松可能伤害相邻服务;应结合业务峰值、故障域与节点总预算取舍。
10. 名词解释与延伸阅读
| 名词 | 简短解释 |
|---|---|
| Cgroup / Controller | 任务组织层级 / 某类资源计账与控制机制 |
| Domain / Threaded | 普通资源域模式 / 有特定线程组织规则的模式,不能混用接口假设 |
| Delegation / Ancestor | 受约束子树管理委派 / 对孩子施加范围规则的上层节点 |
| Weight / Quota / Period | 相对分配权重 / 相应执行预算 / 预算统计周期 |
| Cpuset / Effective CPUs | 执行位置配置机制 / 实际可用 CPU 集合 |
| memory.high / pids.max / io.max | 回收压力高水位 / 任务创建边界 / 相应设备 I/O 速率限制 |
| memory.events / memory.events.local | 按相应层级范围观察的内存事件 / 仅当前组的内存事件,须核对挂载与版本 |
| Counter Delta / PSI | 同身份同窗口计数差 / 资源停顿时间口径 |
- 前置解释:namespace解释可见路径,调度解释线程如何获得 CPU,内存回收解释计账压力和 OOM。
- 跨专题应用:CPU Limit、容器 OOM,用真实平台状态验证资源限制;JVM 参数区分运行时认知与内核预算。
- 自然后续:身份、权限与安全策略解释谁有权操作,systemd 与启动解释托管配置与进程生命周期,再用 Linux 诊断命令对齐成员、指标和业务窗口。
- 依据:Linux 内核
admin-guide/cgroup-v2、accounting/psi;Linux man-pagescgroups(7)、cgroup_namespaces(7)。指标可见性、模式、控制器支持与默认配置均以目标环境为准。
11. 一句话总结与三个要点
Cgroup 按成员与层级分配和约束资源,真实预算必须同时看控制器、祖先和观察范围。
- 组、成员、控制器与委派分别有职责;子进程继承与迁移不能替代历史计账规则。
- CPU 权重、带宽、位置,内存水位与硬限,I/O 与任务数是不同边界,不能统一换算。
- 对齐真实层级与同窗口事件,再通过正确管理层调整预算;局部 max 和主机余量都不是无限资源证明。