外观
操作系统速记手册
摘要
以 Linux 常见运维工具为入口,按进程、CPU、内存、存储、网络和容器约束定位问题。先确认观察的是宿主机、容器还是目标进程,再把资源、等待与业务时延放在同一窗口比较。工具字段及 cgroup 文件依内核、版本和命名空间而异。
快速入口
可执行流程、结果分支与模板:高频问题。
Load、RSS、Page Cache、fsync、epoll:知识速记。
CPU、内存、磁盘、描述符异常:常见问题排查。
top、vmstat、iostat、df、ss:工具与参数。
知识速记
| 知识点 | 结论与条件 |
|---|---|
| 进程与线程 | 线程是执行上下文,同进程通常共享地址空间与描述符;资源共享也意味着需要同步 |
| exec 与 fork | fork 创建进程,exec 替换程序映像;写时复制不等于立即复制全部物理页 |
| 调度与 Load | Linux Load 包含可运行及某些不可中断等待任务;不是 CPU 百分比 |
| 上下文切换 | 切换数量只是活动线索;要关联调度等待、锁和实际 CPU,不直接按次数认定瓶颈 |
| 虚拟内存 | 虚拟地址、实际驻留、共享页和容器计账不同;VIRT 大不自动证明物理内存不足 |
| 缺页 | minor 与 major fault 成本不同;mmap 首次访问、回收和存储访问都会影响缺页 |
| Page Cache | 文件缓存可回收但有回收成本;free 低不能单独证明泄漏 |
| 文件与 inode | 文件名、inode、打开文件对象和描述符是不同层;删除目录项不一定立即释放打开文件占用 |
| 写入与持久化 | write 返回不证明断电可恢复;文件内容和目录项的持久化需要按协议分别处理 |
| I/O 指标 | 吞吐、延迟、队列与设备能力一起解释;多队列设备 util 高不自动等于饱和 |
| epoll | 就绪通知不等于完整消息已到达;非阻塞读写仍要处理部分完成及 EAGAIN |
| namespace | 隔离的是视图,不自动提供 CPU 或内存配额;同一进程可能有不同可见 PID |
| cgroup | 分组计账与资源限制;CPU quota 与绑核不同,内存限制需连同实际层级解释 |
| 时间与信号 | 墙钟可调整,耗时预算优先单调时钟;信号请求和进程实际退出是不同事件 |
进程、线程和文件:名词的实际含义
进程有地址空间和资源,线程是执行上下文,同进程线程通常共享内存和描述符。fork 创建新进程,exec 在现有进程中替换程序映像;fork 的写时复制让很多页先共享,实际写入才需要复制,不能当作零成本复制。
文件名是目录项,inode 保存文件元信息,打开文件对象记录打开状态,fd 是进程表中的引用编号。unlink 删除名字,打开引用仍在时空间可能不释放,所以“删日志后 df 未下降”要查打开且已删除的文件。相同文件可有多个名字或打开引用,不能只看路径列表统计实际占用。
CPU 与 Load:看字段就知道下一步
| 观察 | 应怎样理解 | 接着看什么 |
|---|---|---|
| 用户 CPU 高 | 大量时间在用户态执行 | 对应进程/线程热点、业务流量 |
| 系统 CPU 高 | 内核工作较多 | 系统调用、网络包、调度、内存回收等 |
| Load 高、CPU 不高 | 等待和调度都可能参与 | D 状态、I/O、挂载与运行队列 |
| CPU 均值低、throttled 时间增加 | 组配额可限制短时执行 | 实际 cgroup 与父层限制、延迟窗口 |
| 上下文切换多 | 调度活动频繁,不独立证明坏 | 线程量、锁、等待及实际耗时 |
Linux Load 计入可运行以及某些不可中断等待任务,不是“已使用的核数”或 CPU 百分比。top 的百分比口径还与模式有关,进程数值超过 100% 可能只是多核使用,并不自动异常。
内存:VIRT、RSS、缓存与 OOM
VIRT 是虚拟地址范围,RSS 是当前驻留物理页的度量,共享页可能在多个进程中计入 RSS。PSS 按共享比例分摊;不要把进程 RSS 简单相加当整机唯一占用。Page Cache 是文件缓存,可能回收,但回收有工作和等待成本。free 少不等于泄漏,应结合 available、换页、回收及容器限制。
minor fault 常不需要从存储读取,major fault 涉及更昂贵的数据获取;缺页多要结合 mmap、冷启动、回收和存储,不能都称为异常。cgroup memory.current 是组计账,不等于 JVM heap;memory.events 的 oom/oom_kill 等需要前后差与终止事件对齐。
I/O、空间、持久化与 epoll
df -h 查挂载字节,df -i 查 inode;有空字节仍可能因 inode、配额、权限、只读或设备错误失败。查真实文件路径所在挂载,容器 overlay、卷和宿主路径可能不同。
write 返回说明写入路径接受了数据,不证明掉电可恢复。fsync 文件内容不自动完成所有目录项的持久化;文件创建、重命名等协议要按实际文件系统与恢复目标处理。为了降低延迟去掉同步可能改变业务耐久性,而不是“免费优化”。
iostat 的 await 包含观测口径下的等待与服务时间,队列、吞吐和设备能力需一起看;多队列设备 util 高不能一概认定饱和。vmstat 首次活动统计是启动以来平均,后续按间隔,进程和内存值仍是瞬时信息。
epoll 通知就绪,不通知“完整消息处理完成”。非阻塞 read/write 仍可能部分完成或 EAGAIN;边沿触发需要按接口约定持续处理到暂不可读写,避免遗漏后续处理。协议消息定界仍由应用负责。
namespace、cgroup 与诊断步骤
namespace 隔离 PID、挂载、网络等视图;cgroup 计账和限制资源。容器内看到的 PID、路径、接口可能与宿主不同,工具必须观察同一对象。CPU quota 是时间配额,不等于独占某几个核;父 cgroup 限制也能影响子组。
CPU 高时先查热线程再查调用热点;Load 高而 CPU 低时先查不可中断等待和真实设备;fd 满先按文件、Socket、管道等类型看增长与释放;写盘失败先核对目标挂载、字节、inode、配额及只读。
命令结果为空时先查权限、命名空间和工具支持,再解释业务。处置后验收真实请求、资源释放和错误,而非只看服务状态 active。
常见问题排查
| 现象 | 检查顺序 | 证据与下一步 |
|---|---|---|
| CPU 高、响应慢 | 区分系统/用户 CPU → 找进程线程 → 查 quota、运行队列与业务流量 | 看持续热点与限流时间,CPU 高也可能来自正常负载;有证据后再优化计算或配额。 |
| Load 高但 CPU 不高 | 看任务状态 → 查不可中断等待 → 查设备延迟与挂载 | D 状态支持等待分支,不单独证明某块磁盘故障;继续找实际资源路径。 |
| 内存持续上涨 | 确认进程/容器范围 → 分 RSS、文件缓存、匿名页 → 查回收与限额 | 区分业务保留、共享映射和系统缓存,避免只清缓存掩盖应用增长。 |
| 磁盘显示有空间仍写失败 | 查真实路径挂载 → 查字节、inode、配额、只读与错误 | 同时查 df -h 与 df -i,文件系统空间不等于对象或用户额度。 |
| 删除日志后空间未降 | 查打开且已删除文件 → 找持有进程 → 核对轮转 | 目录项删除后仍被打开的文件可继续占空间;与应用协作关闭或轮转,不随意截断生产文件。 |
| Too many open files | 查进程 fd 数 → 查软硬限制 → 按类型统计 fd | 判断是连接、文件、管道还是泄漏;提高限制前要证明释放路径和总预算。 |
| 容器内正常但宿主异常 | 对齐命名空间、cgroup 层级与时间 → 看同机其他负载 | 容器看到的指标未必是独享资源;区分组内限制、父组限制与整机压力。 |
| 服务 running 但请求失败 | 查进程存活 → 查监听 → 查 readiness 与依赖 → 看日志 | systemd active、端口监听和业务可用是不同条件;恢复后用真实请求验收。 |
高频问题:操作与结果判断
以下以 Linux、procps、sysstat 和 cgroup v2 为范围;不同发行版需先确认工具与文件是否存在。
Load 高:先区分可运行与不可中断等待
bash
vmstat 1 5
ps -eo pid,stat,comm,wchan:32vmstat 首份报告通常是自启动以来的统计,重点看后续采样。r 是可运行线程线索,b 是不可中断睡眠线索,us/sy 是用户/内核 CPU,wa 是 CPU 记账的 I/O 等待,不能直接当作磁盘繁忙度。
r 持续大且 CPU 忙:查热点和可用 CPU;b 多且进程为 D 状态:查 I/O、挂载与内核等待;Load 高但 CPU 不忙:优先查 D 状态和资源限制,不立即扩核。容器内还需核对 quota,宿主 CPU 核数不能直接作为可用容量。
磁盘慢:把延迟、队列与吞吐一起看
bash
iostat -xz 1 5首份通常是历史平均,重点看后续窗口。await 是完成 I/O 的平均等待时间,包含排队和服务;aqu-sz 是平均队列长度,r/s、w/s 与吞吐显示负载,%util 是设备忙碌时间比例。并行设备/RAID 上 %util 接近 100 不独立证明达到最大吞吐。
await 和队列一起涨:对照吞吐、请求大小和其他进程,查是否超过设备能力。应用慢而设备 await 低:查应用锁、fsync、网络存储和是否观测错设备。平均正常仍可能尾延迟高,应关联请求分位数。修复后保持相同读写模式比较,不用缓存命中不同的两次测试下结论。
df 满而 du 不大:查已删除但仍打开的文件
bash
df -h /path
df -i /path
lsof +L1df 看文件系统分配,du 看路径可见文件;+L1 查链接数小于 1 的打开文件,查看所有进程需要权限。日志已删除但进程仍持有句柄时,空间不会随目录项删除立即释放。
确认设备和大文件所属进程后,让应用按受支持方式关闭/重新打开日志,必要时协调重启。不要继续删目录或直接截断未知进程文件。块空间有余但 inode 耗尽:查大量小文件及保留策略。验收 df、应用写入和日志轮转都恢复。
文件描述符耗尽:比较进程限制和持有对象
bash
cat /proc/PID/limits
ls /proc/PID/fd | wc -l
lsof -p PIDPID 替换为目标进程,读取需相应权限。当前 shell 的 ulimit 不等于服务启动后的限制,应看 /proc/PID/limits。描述符数量持续随请求增长:按 socket、文件、pipe 分类,定位未关闭路径;峰值稳定但接近限制:同时评估合理限制与并发容量。
提高限制只能延后泄漏失败。修复后在可比负载下检查描述符数量回归稳定、连接归还和错误率,避免只观察重启后的低数量。
cgroup 内存与 CPU:按实际路径读取
先 cat /proc/PID/cgroup 找目标在统一层级中的路径,再结合该进程的挂载视图定位目录;下面 CGROUP_PATH 是已确认路径的占位符。
bash
cat CGROUP_PATH/memory.current
cat CGROUP_PATH/memory.max
cat CGROUP_PATH/memory.events
cat CGROUP_PATH/cpu.max
cat CGROUP_PATH/cpu.statmemory.max 为 max 时该层没设置有限上限,但祖先仍可能限制。memory.events 的 oom/oom_kill 是累计事件,使用故障窗口增量;不能把历史非零当作当前刚发生 OOM。cpu.max 如 200000 100000 表示该层约 2 核配额,不代表固定绑定两核;max 表示该层不设配额。cpu.stat 的 nr_throttled、throttled_usec 看同窗增量并关联延迟,计数增长本身不证明全部请求慢由它造成。
字段定义见 Linux cgroup v2 文档。cpu.stat 的配额节流统计主要反映该层限制,检查祖先限额时还需读取对应祖先层;不能只看子层计数排除资源限制。
工具与参数
以下用于 Linux。PID、服务名必须替换为实际目标;sysstat 工具需要预先安装。读状态也有采样成本,敏感日志和连接信息需限定访问。下表给出字段与判断方法。
| 命令 | 看什么 | 解释边界 |
|---|---|---|
uptime | Load 与运行时间 | 比较核数、quota 和状态,不视为 CPU 百分比 |
top -H -p PID | 线程 CPU、状态、内存 | 交互式采样;进程身份要确认,避免 PID 复用 |
vmstat 1 5 | 运行队列、换页、CPU 等趋势 | 首份报告的活动统计为启动以来平均,后续按间隔;进程和内存字段仍是瞬时值 |
iostat -xz 1 5 | 设备吞吐、延迟与队列 | 需要 sysstat;虚拟盘、RAID、多队列会影响字段解释 |
free -h | 内存分类与 available | available 是估计,不能独立证明目标容器有余量 |
df -h、df -i | 挂载空间与 inode | 核对目标路径对应挂载,还要查配额与只读状态 |
ls /proc/PID/fd | 目标描述符集合 | 需要权限及正确 PID 视图;数量只是线索,进一步看链接类型 |
ss -s | Socket 总体状态 | 全局或命名空间范围,非某服务独享统计 |
journalctl -u 服务名 --since '10 min ago' | 最近服务日志 | systemd 环境,时间及日志保留影响结果,避免全量复制敏感信息 |
cgroup v2 cpu.stat、memory.current、memory.events | 限流、当前计账与内存事件 | 从目标实际 cgroup 路径读取;累计事件要对照前后差值 |
易错点与记忆提示
- 先范围,再窗口,再归因:宿主、容器、进程指标不能混算。
- 有空间不等于能写,有 CPU 不等于能跑:检查 inode、配额、权限、调度及组限制。
- 删名字不等于释放文件:看打开引用和持有者。
- 写成功不等于可恢复:按文件与目录持久化协议验收。
- 就绪不等于完成:epoll 与服务 readiness 都只说明特定条件。
- 单指标是线索,等待链是责任路径:跨层故障需对齐持有者、资源和时延。
原理与完整示例
需要原因、源码或完整实验时再阅读:
- CPU 不高,Load 却很高:从线程状态到配额的排查闭环
- 19 - Linux 服务器诊断命令:按 CPU、内存、磁盘、网络与服务问题选择证据
- 进程内存持续增长怎么查:从 RSS 到分配来源与释放责任
- 磁盘满了、inode 耗尽或 I/O 卡住:定位真实文件系统并安全止损
- 10 - 文件名删了,空间为什么还在:inode、目录、链接与文件描述符
- Too many open files 与服务卡死:描述符限额、资源归属和等待链
- 16 - CPU 和内存限制怎样作用于进程:cgroup 层级、计账与资源控制
- 18 - 服务器启动后,服务怎样被拉起来:systemd、就绪、退出与时间基础
- 一次接口长尾故障怎样定位:把请求阶段、等待链和资源证据连起来
- 03 - 进程和线程到底共享什么:地址空间、执行状态与资源归属
- 04 - 服务为什么停不下来:进程创建、信号、退出与回收
- 05 - 线程已经就绪,为什么还没运行:调度、优先级与上下文切换
- 07 - 申请内存为什么不等于占用物理内存:虚拟地址、分页、页表与 TLB
- 08 - 第一次访问内存为什么可能变慢:缺页、写时复制与 mmap
- 09 - 内存看起来还够,进程为什么被杀:回收、Swap、预算与 OOM
- 11 - write 返回成功,数据就安全了吗:Page Cache、回写与 fsync 持久化
- 12 - 磁盘很忙,应用为什么还在等待:块 I/O、设备队列与性能指标
- 13 - 阻塞、非阻塞和异步有什么区别:I/O 模型、epoll 与事件循环
- 15 - 容器为什么看不到宿主机进程:namespace 视图、身份与隔离边界