外观
19 - Linux 服务器诊断命令:按 CPU、内存、磁盘、网络与服务问题选择证据
摘要
服务慢时,执行几条命令很容易,难的是判断输出能支持什么结论。本文先建立对象、时间窗口和统计范围的基本模型,再按 CPU、内存、文件与磁盘、网络和服务状态选择工具。通过有限采样和累计计数练习,学习如何支持一个故障假设,以及如何寻找推翻它的证据。
阅读指引
- 前置阅读:Linux 日常命令,掌握路径、引用和退出码;专项机制按下文链接回查,不要求一次背完全部工具。
- 本文定位:诊断工具的选择、指标解释与风险分层。02 教安全使用命令,本篇教命令能支持哪个假设,后续 20~24 再展开故障闭环。
- 适用范围:以 Linux、procps、sysstat、iproute2、util-linux 和 systemd 常见工具为背景。精简容器可能缺工具;字段和选项依实际版本,先查帮助,不现场随意安装或升级。
- 示例条件:命令优先只读,并限定 PID、目录、端口和采样次数。各节命令片段在同一 Bash 会话中使用,第 3 节设置的
target_pid供后文引用。Python 3 示例只处理教学数据,不访问业务进程;Linux 字段含义需对照目标环境的版本手册。
1. 场景:命令跑了一圈,为什么还是只能猜
假设一个接口响应慢,排查者依次查看 top、free、df、ss,得到“CPU 不高、内存够、磁盘没满、端口在监听”。这些观察可能都正确,却没有解释请求卡在哪一步:请求可能还在客户端等连接,也可能已到服务端,正在等锁、内存回收或数据同步到存储。
先把问题拆成两层:请求在哪个阶段停止推进,以及该阶段依赖什么资源或对象。 业务日志和分阶段耗时帮助确定前一层,系统命令帮助检查后一层。只有两层证据对应同一个实例、同一段时间,资源异常才可能解释这次请求变慢。
问题不是工具不够,而是没有把证据绑定到对象、窗口、统计范围和假设。每跑一条命令,应能回答:
- 它观察哪个主机、视图、进程、设备或连接?
- 它是累计量、瞬时量还是区间平均?
- 它支持哪条假设,还不能排除什么?
- 它的权限、开销、敏感数据和停止条件是什么?
这里的“窗口”是观察和比较的时间段,“统计范围”是指标覆盖的对象集合,例如全机、一个进程或一个设备。累计计数(Counter)记录截至采样时的总量;瞬时量(Gauge)描述当时的状态,可以增加也可以减少;区间速率(Rate)则用同一计数的增量除以经过时间。把累计量当当前速率,或把全机指标当某个容器的指标,都会让判断失去依据。
2. 第一张地图:症状 → 最小证据 → 下一步机制
| 症状 | 第一组证据 | 不足以成立的结论 | 深入阅读 |
|---|---|---|---|
| CPU 高、完成量低 | 进程/线程区间 CPU、重复栈或授权采样 | 必定循环代码或线程太多 | 调度、锁与重试 |
| CPU 不高、Load 高 | 就绪与 D 状态、允许 CPU、压力和配额 | CPU 使用率低就资源充足 | 调度、cgroup |
| 内存持续增长 | RSS/映射、分类计账、任务量与引用 | RSS 不降必定泄漏 | 虚拟内存、回收 |
| 磁盘满或写入失败 | 文件系统字节/inode、目标对象、错误码 | du 小就文件系统没问题 | 文件身份 |
| write/fsync 慢 | 分阶段时长、回写与设备区间指标 | await 就是纯盘服务时间 | 持久化、块 I/O |
| 网络超时 | 请求最早未完成边界、连接与队列 | ping 或监听成功证明业务正常 | 网络路径、分层分诊 |
| 启动/访问失败 | Unit Result、实际身份、路径与策略 | 终端成功就服务应成功 | 权限、systemd |
表中的 Load 是任务负载指标,D 是不可中断等待状态,RSS 是进程驻留物理内存的统计量;各资源节会继续解释。write 是写入操作,fsync 用于请求文件数据按相应语义同步,await 是设备请求平均耗时指标。表格用于选择下一份证据,不能直接给出根因。
2.1 不熟工具时,先做三轮而不是一次背完命令
| 轮次 | 要回答的问题 | 从哪里开始 | 停止扩散的条件 |
|---|---|---|---|
| 第一轮:确认对象 | 哪个发布实例、哪个 PID、哪个时间窗口慢 | 本文第 3 节的身份检查;服务由 systemd 管理时补第 8 节 | 实例或视图对不上,先修正对象,不继续跨实例拼证据 |
| 第二轮:分资源方向 | 是执行不足、内存压力、存储等待还是网络/应用等待 | 只选下文对应一节的有限初筛 | 没有异常增量或阶段不吻合,回到候选表找反证 |
| 第三轮:追责任边界 | 谁拥有资源,谁阻止下一阶段推进 | 沿 20~24 的专项文章追线程、对象与队列 | 证据支持一个可解释变量后,再讨论有回退的干预 |
例如,响应正文(body)迟迟收不全时,先确认请求到了哪个实例、发送端是否继续生成数据、接收端是否继续读取,再检查相关 socket(通信端点)的队列或上游等待。错误明确是 ENOSPC(空间不足)时,则优先进入容量分支,不必先抓包。
3. 先建立现场身份和时间线
PID 是进程编号,可能在进程退出后被重新使用。namespace(命名空间)决定进程看到的资源视图,例如网络接口和连接;cgroup(控制组)用于对一组任务计账并施加资源约束。相同的 PID 数字、路径或主机名,不能保证观察的是同一个对象。
bash
# Linux / GNU 基础只读信息,记录实例与时区,不改系统时钟。
hostname
id
date -Is
uname -sr
cat /etc/os-release
# 12345 换成已确认服务 PID,确认不是复用编号或旧实例。
target_pid=12345
ps -p "$target_pid" -o pid,ppid,lstart,etime,stat,comm
cat "/proc/$target_pid/cgroup"
readlink /proc/self/ns/net
readlink "/proc/$target_pid/ns/net"上述输出用于确认系统版本、身份、进程启动时间和网络视图。还应记录发布版本、容器或服务 ID、boot(本次系统启动)以及请求发生的时间窗口。进程退出或实例变化后,应重新确认目标,再做 attach(连接目标进程进行诊断)。
实际命令参数、环境变量和完整路径可能含凭据。ps ... args、/proc/.../environ、systemctl cat 和日志的输出,分享前应限定范围并脱敏。
4. CPU 与执行:top、ps、pidstat、mpstat、vmstat
CPU 使用率描述获得了多少执行时间,不能单独说明请求为什么慢。线程可能正在执行,也可能已经就绪却等待调度,或仍在等待锁、I/O 等事件。先用状态和区间 CPU 区分这些方向,再追具体等待原因。
bash
# procps:有限快照。ps 的 pcpu 常是相应累计生命周期比例,不当 1 秒精确采样。
ps -L -p "$target_pid" -o pid,tid,stat,psr,pcpu,comm
top -b -n 1 -p "$target_pid"
# sysstat:有限区间采样,线程与系统 CPU 分开看。
pidstat -u -w -t -p "$target_pid" 1 3
mpstat -P ALL 1 3
# procps:首份常包含启动以来平均,后续按间隔观察;版本口径先核对。
vmstat 1 4| 工具或字段 | 能看到什么 | 必须防止的误读 |
|---|---|---|
| top / ps | 任务状态和 CPU 使用比例 | 单张快照不是稳定热点;首样本和 CPU 百分比受工具配置影响 |
pidstat -u/-w/-t | 区间 CPU、切换和线程口径 | 切换多不自动证明性能差,等待原因仍需栈 |
| mpstat | 逻辑 CPU 与系统执行分类 | 全机余量不解除任务亲和性或 cgroup 限制 |
vmstat r/b 等 | 可运行任务、不可中断等待任务等系统统计 | 不是业务请求队列,也不能直接当某个服务的线程数 |
| Load Average | 可运行任务与计入负载的不可中断等待任务形成的平滑负载 | 不等于 CPU 使用率,不按一个阈值自动判故障 |
| iowait | CPU 侧的 I/O 等待计账线索 | 不是进程磁盘等待总量,也不是完整 I/O 压力 |
ps 的 stat 中,R 表示正在运行或已就绪,D 表示不可中断等待;D 常见于 I/O 等路径,但不能据此认定本地硬盘故障。tid 是线程编号,psr 是最近执行所在的逻辑 CPU 编号。切换次数增多只是线程交替执行的线索,仍需结合调用栈判断原因。
CPU 百分比的分母也要确认:有的展示以一个逻辑 CPU 为 100%,有的按全机执行能力归一化。多线程进程超过 100% 不自动是错误;全机平均值低也可能掩盖少数 CPU 的热点。主机有空闲 CPU 时,线程亲和性(允许运行的 CPU 范围)或 cgroup 配额仍可能限制服务执行。
要证明“轮不到运行”,应结合允许 CPU、区间执行、配额事件及适用调度统计,见 调度篇。Java 的 RUNNABLE 也不能直接等同于正在消耗 CPU。
5. 内存:free、status、maps、smaps 与 cgroup
先分清全机可用内存、进程占用和控制组预算。free 回答当前内核视图下的内存情况;进程文件描述该进程的地址空间与驻留页;cgroup 文件描述一组任务的使用和限制。这三种统计不能互相替代。
bash
# 当前内核视图:available 是估计值,不是某个容器的保障。
free -h
grep -E '^(MemAvailable|SwapTotal|SwapFree|Dirty|Writeback):' /proc/meminfo
# 目标进程:字段和精度以目标内核为准。
grep -E '^(VmSize|VmRSS|RssAnon|RssFile|RssShmem|VmSwap|Threads):' "/proc/$target_pid/status"
head -n 20 "/proc/$target_pid/maps"
# sysstat:区间驻留和缺页相关证据,不能只看累计次数。
pidstat -r -p "$target_pid" 1 3
# 支持 PSI 时看内存停顿;缺文件/权限记录环境边界。
cat /proc/pressure/memoryVmSize 是虚拟地址空间大小,不表示这些地址都已占用物理内存;RSS 是驻留物理内存的统计量,PSS 则按共享比例分摊共享页。多个进程的 RSS 直接相加可能重复计算共享页,运行时对象量也不等于整个进程的内存占用。maps 列出地址映射,smaps 提供更细的映射统计;status 的部分计数精度有限,但读取 smaps 也有成本,不宜在线上高频全量扫描大进程。
使用 cgroup v2 时,先根据进程成员信息、挂载和 namespace 确定正确目录,再读取该层及可见祖先的 memory.current、memory.stat、memory.events、memory.pressure 等文件。它们分别提供使用量、分类、事件和压力线索。当前组的 memory.max 为 max,只说明这一层没有设置该上限,祖先仍可能限制它;分类字段也不保证可以全部相加。
Swap 是交换空间,已使用量非零可能只是先前换出的页面仍未换回,不能证明当前正在频繁换入换出。minor/major 是缺页类别,也不能直接换算成固定延迟。PSI(Pressure Stall Information,资源压力停顿信息)提供资源压力造成任务停顿的统计。应结合同一窗口内的交换、缺页和压力变化,判断是否与请求慢的阶段吻合,详情见 缺页、回收与 OOM。
6. 文件、空间与设备:df、du、lsof、findmnt、iostat
容量问题和 I/O 耗时问题要分开检查。文件系统既需要存放内容的空间,也需要 inode(描述文件对象的元数据资源);空间未满不保证还能创建文件。df 看文件系统整体统计,du 按可遍历的名称统计占用,因此两者范围不同。
bash
# 当前已确认业务路径,先确定挂载,再查两种容量。
findmnt -T ./logs
df -h ./logs
df -i ./logs
du -sh -- ./logs # 目录扫描可能昂贵,范围应事先确认。
# 目标 FD 限额和已打开删除对象;lsof 需已安装及权限。
grep -F 'Max open files' "/proc/$target_pid/limits"
lsof -a -p "$target_pid" +L1
# sysstat:跳过启动以来设备报告,有限区间采样。
iostat -xz -y 1 3
pidstat -d -p "$target_pid" 1 3| 证据 | 范围 | 不能直接证明什么 |
|---|---|---|
| df 字节/inode | 文件系统资源统计 | 某个目录实际占用就是全部使用 |
| du | 可遍历名称与工具选项口径 | 已删除仍打开、快照和系统元数据全部包含 |
| lsof +L1 | 可见且符合链接计数条件的打开对象 | 缺权限/无输出就不存在空间保留 |
| iostat | 指定设备层平均速率、队列和忙碌口径 | util 满就是全部能力耗尽,await 就是 P99 |
| pidstat -d | 进程相关 I/O 计账 | 与物理设备请求或完成字节严格一一对应 |
FD(文件描述符)是进程引用已打开文件或 socket 等对象的编号。文件名称删除后,只要打开引用仍存在,就可能继续占用空间:du 无法再按该名称找到它,lsof +L1 可提供符合链接计数条件的打开对象线索。无输出时仍要考虑权限和可见范围。
设备平均指标适合初筛:await 包含等待等耗时,不能当作纯设备服务时间;%util 的忙碌比例也不能在所有设备上直接代表能力耗尽。P99 是时延分布的第 99 百分位,平均值不能替代它。分区、映射设备和物理盘还可能观察到同一批 I/O,吞吐不能跨层全部相加。空间故障先理解 inode 与打开引用,慢同步回查 Page Cache 与 fsync、块 I/O 指标。
清理 drop_caches 会改变缓存现场,对目标 /proc/.../fd/N 使用 truncate 会改变对应文件内容。它们都属于干预,不能作为随手执行的诊断步骤;应先确认应用是否允许,以及影响和回退范围。
7. 网络:先分阶段,再看 ip、ss 与系统计数
一次请求可能先等待本机连接池,再经过 DNS(域名解析)、连接建立、TLS(传输加密协议)握手、网关和业务处理,最后接收响应。先找最早未完成的阶段,再选择网络证据;请求还没发出时,服务端连接统计无法说明客户端为什么等待。
bash
# 当前 network namespace 的接口和错误/丢弃口径。
ip -br address
ip -s link
# 8080 是示例端口,替换为实际服务。监听和连接队列含义不同。
ss -lnt 'sport = :8080'
ss -tinm 'sport = :8080'
# 网络处理计数是系统范围,不是 HTTP 请求数。
grep -E 'NET_RX|NET_TX' /proc/softirqsip 提供接口及接口计数线索,ss 提供 socket 状态和队列线索,/proc/softirqs 提供软中断处理计数。软中断是内核处理网络等工作的机制之一,其计数不是 HTTP 请求数。ping 成功只支持相应网络探测可达,端口监听只说明存在监听端点,TCP ACK 只说明传输层确认,三者都不能证明业务处理完成。
ss 的 Recv-Q、Send-Q 是接收和发送队列字段,含义依协议及连接状态而变,不能把监听队列的数字一律读成字节。内核包聚合和卸载会影响抓包所见的包形态。还要先对齐 network namespace,不能拿宿主机连接列表直接替代容器现场。
主动 curl、DNS 查询和连接探测会发送流量,可能触发认证、缓存和业务行为,属于主动诊断。固定授权目标、次数、协议和总超时,不写无限循环探测;抓包需采集预算、敏感数据和清理,详见 分层网络排障、双点取证。
8. 服务、权限与日志:systemctl、journalctl、namei
Unit 是 systemd 管理对象的单元,.service 用于描述服务。先检查管理器识别的进程和启停结果,再对照应用初始化、请求日志及真实执行身份。管理器状态与业务是否就绪回答的是不同问题。
bash
# systemd 环境下只读服务身份和结果,unit 需替换。
unit=app.service
systemctl show "$unit" -p MainPID -p ActiveState -p SubState -p Result -p NRestarts -p ControlGroup
journalctl -u "$unit" -b --since '2026-10-09 10:00:00' --until '2026-10-09 10:10:00' -o short-iso --no-pager
# 文件访问故障:先逐级路径和实际身份,不先 chmod。
namei -l /srv/app/config/settings.yml
grep -E '^(Uid|Gid|Groups|CapEff|NoNewPrivs|Seccomp):' "/proc/$target_pid/status"日期、PID、端口、路径和 Unit 名都是占位,必须替换为真实窗口与对象;日志记录范围由权限和保留策略决定。Service active、启动命令成功和业务就绪不同,见 systemd 篇。
namei -l 用于逐级查看路径,进程 status 中的身份和安全字段用于确认执行条件。访问失败还要检查 ACL(访问控制列表)、挂载与安全策略,见 权限篇。终端和服务可能使用不同用户、目录视图或限制;错误文本不能代替这些条件,缺日志也不证明没有拒绝事件。
9. 可运行实战:累计计数变区间速率,拒绝不连续快照
保存为 counter_rate_demo.py,使用 python3 counter_rate_demo.py。它只处理教学快照,不读取真实内核字段;不同指标的单位和计数范围仍需分别确认。
计算方法是 (后一次累计量 - 前一次累计量) / 经过秒数。教学输入在 2 秒内从 4096 增加到 12288 字节,因此平均速率为 4096 字节/秒。identity 用于确认同一实例,monotonic 表示同一单调时钟下的采样时间,避免墙钟调整影响经过时间。实例改变、时间未递增或计数倒退时,函数拒绝计算。
python
from math import isfinite
def rate(before, after, field):
if not before["identity"] or before["identity"] != after["identity"]:
raise ValueError("实例改变,不能相减")
timestamps = (before["monotonic"], after["monotonic"])
if any(isinstance(value, bool) or not isinstance(value, (int, float))
or not isfinite(value) or value < 0 for value in timestamps):
raise ValueError("时间必须是有限非负数")
counters = (before[field], after[field])
if any(isinstance(value, bool) or not isinstance(value, int)
or value < 0 for value in counters):
raise ValueError("本例字节计数必须是非负整数")
elapsed = after["monotonic"] - before["monotonic"]
if elapsed <= 0:
raise ValueError("采样时间必须递增")
delta = after[field] - before[field]
if delta < 0:
raise ValueError("计数倒退,检查重建、复位或范围")
return delta / elapsed
def main():
before = {"identity": "demo-instance-A", "monotonic": 10.0, "read_bytes": 4096}
after = {"identity": "demo-instance-A", "monotonic": 12.0, "read_bytes": 12288}
assert rate(before, after, "read_bytes") == 4096
print("illustrative bytes per second:", rate(before, after, "read_bytes"))
invalid_snapshots = [
dict(after, identity="demo-instance-B"),
dict(after, monotonic=10.0),
dict(after, read_bytes=1),
dict(after, monotonic=float("nan")),
dict(after, read_bytes=True),
]
for invalid in invalid_snapshots:
try:
rate(before, invalid, "read_bytes")
except ValueError:
pass
else:
raise AssertionError("不连续快照应被拒绝")
print("identity, time and reset checks passed")
if __name__ == "__main__":
main()预期输出:先打印 illustrative bytes per second: 4096.0,再打印 identity, time and reset checks passed。这是教学数据的算法结果,不是真实设备基准。身份不能只用 PID,应组合实例、启动时间或稳定对象引用;某些计数还可能回绕或经过工具转换,真实采集器需要按字段设计。
这个函数只处理本例的单调累计字节数,不适用于会增减的 Gauge(瞬时量),也不把所有 /proc 数字都当同一种 Counter(累计计数)。例如 RSS 会随回收下降,而 Linux CPU 的 iowait 计数还有可靠性及可能下降的边界;下降不一律是采集程序故障。字段语义先于减法,相关定义见 proc_stat(5)。
区间平均也不能推导 P99:相同平均值可以包含完全不同的突发和长尾。减法正确只是第一步,还要确认计数范围、采样扰动和业务时间对齐。
10. 诊断风险分层:只读也不代表零成本
| 类别 | 示例 | 前置约束 |
|---|---|---|
| 小范围只读 | 版本、有限 status、限定日志和指标 | 对象、权限、脱敏、采样次数 |
| 大范围扫描 | du、全量 lsof、smaps、日志导出 | CPU/I/O、磁盘空间、时长与退出阈值 |
| attach/追踪 | strace、perf、JFR、线程栈等 | 平台支持、权限、影响评估和清理 |
| 大型转储或故障实验 | heap/core dump、设备压测、故障注入 | 专门批准窗口、存储与敏感数据处理 |
| 有副作用变更 | 重启、kill、清缓存、调限额、改策略 | 已有证据、范围、回退与复测 |
没有证据支持时不直接跳到最后一行。strace 可能影响调用路径,perf 受权限与内核配置影响,JVM dump 可能暂停和产生大量文件,不是换个工具名就自动低风险。Java 取证看 JVM 排障。
短时间内只改一个可解释变量,保留干预前后相同范围的业务与资源指标。重启后恢复不证明根因就是内存泄漏,清缓存后变化也不证明缓存本身错误。
11. 容易踩的坑与下一步
收集输出后,先检查证据是否能拼成一条时间线:目标是否一直相同,采样窗口是否覆盖慢请求,异常是否发生在请求需要该资源的阶段。本文各组命令顺序执行时,窗口并不完全重合,适合初筛,不能单独证明毫秒级因果;短暂异常可能需要同实例、同窗口的现有监控或协调采样来关联。
最后给候选原因找反证。例如怀疑 CPU 配额限制,就检查慢请求窗口内是否真的发生节流、相关线程是否需要执行;如果请求仍在等上游返回,应重新评估这个解释。问题暂时消失后,还要复测触发条件、正确性、长尾和资源预算,避免只压低某个指标就宣布修复。
按证据选择专项:CPU 与 Load区分执行、就绪与配额,内存增长追计账类别与保留责任,容量与 I/O追真实挂载、对象引用与设备等待,FD 与等待链追资源拥有者和推进条件。再用 跨层长尾案例练习组织时间线和反证。专项诊断保留“假设 → 证据 → 反证 → 有边界干预 → 复测”,不把工具表当完整排障。
12. 名词解释与依据
| 名词 | 简短解释 |
|---|---|
| Counter / Gauge / Rate | 累计计数 / 相应瞬时量 / 一致窗口下的变化速率 |
| Snapshot / Sampling Window | 某次观察 / 统计与比较的时间范围 |
| Scope / Identity | 主机、组、进程、设备等统计边界 / 用于确认同一实例的身份 |
| Average / Tail Latency | 平均值 / 分布尾部时延,不可互相代替 |
| PSI / Throttling | 压力停顿时间口径 / 相应资源规则推迟执行的状态 |
| Attach / Intervention | 连接目标做诊断 / 对现场行为或资源产生影响的动作 |
依据:目标版本 procps 的 ps/top/vmstat、sysstat 的 pidstat/mpstat/iostat、iproute2 的 ip/ss、util-linux 的 findmnt/namei、systemd 的 systemctl/journalctl 手册;Linux /proc、cgroup v2 与 PSI 文档。工具缺失、版本差异和权限不足都应记录为证据边界,不用猜测输出补齐结论。
13. 一句话总结与三个要点
好的诊断命令不是一次看完所有指标,而是用正确对象和窗口支持或否定一条明确假设。
- 先对齐身份、视图、时间和统计范围,再选 CPU、内存、I/O、网络或服务证据。
- 累计、瞬时、区间平均和长尾不同,工具字段不能直接搬成业务根因。
- 小范围只读起步,追踪和变更有预算与回退,最终用失败条件和业务结果复测。