外观
12 - 磁盘很忙,应用为什么还在等待:块 I/O、设备队列与性能指标
摘要
磁盘吞吐不高,接口却等待很久;iostat 的 %util 接近 100%,是否就该换盘?判断存储是否拖慢应用,需要同时看请求大小、完成速率、等待时间和所在层级。本文先梳理文件访问到设备完成的路径,再解释块请求、多队列和性能指标,最后用算术示例与只读采样说明怎样定位等待。
阅读指引
- 前置阅读:Page Cache 与 fsync,知道应用写入与设备提交不是同一时刻;调度,知道完成后还可能等待 CPU。
- 本文定位:块层基础与设备指标解释,不把文件系统容量问题、数据库锁等待或网络超时全部归因磁盘。
- 适用范围:以现代 Linux 的 blk-mq,即多队列块 I/O 框架为主要背景。设备、驱动、文件系统、虚拟化和内核版本都会改变路径与统计。
- 验证边界:命令只读、采样有界;不运行整盘写入、不安装压测工具、不对未知设备执行 dd 或 fio。算术示例不模拟真实设备性能,实际吞吐与延迟必须在目标环境验证。
1. 场景:吞吐只有几十 MiB/s,为什么请求仍卡住
I/O(Input/Output,输入输出)指应用与文件、网络或设备等对象交换数据。本文关注存储 I/O。吞吐表示每秒传输的数据量,延迟表示一次操作从开始到结束花了多久;两者回答的问题不同。
如果程序每次只写一小块数据,并且必须等这次同步完成才提交下一次写入,那么等待期间就没有下一次操作可以推进。每次传输的数据少、等待又长,每秒传输的总量自然不高。因此,当前吞吐低于设备宣传带宽,并不足以排除 I/O 瓶颈。小块随机访问、配额限制和排队也可能产生类似现象。
反过来,设备 %util 很高也不自动表示“已经达到所有能力上限”。它反映工具统计的设备忙碌时间比例。现代多队列设备可并行处理请求,持续有工作不等于全部并行能力都已用尽。还要看完成速率和尾延迟,也就是少数最慢操作的耗时。
诊断先确定:哪个文件、哪个设备层、什么操作、哪段时间在等。然后再解释吞吐、请求数与延迟,而不是先选一个百分比作为结论。
2. 完整路径:从文件访问到块设备请求
应用通常通过文件名和文件内偏移访问数据,设备则按块地址处理存储请求。文件系统负责管理文件及其数据位置;块层负责组织向下提交的 I/O;驱动把请求交给具体设备。Block Device(块设备)是通过块地址访问的设备或逻辑对象,可以是物理盘、分区、映射设备、磁盘阵列或虚拟磁盘。
先把一次需要访问设备的操作理解为:组织请求 → 提交或排队 → 下层处理 → 报告完成 → 等待线程继续执行。排队是在等处理机会,服务是在相应下层处理请求。增加同时提交的请求,只有在下层还有处理余量时才可能提高完成速率;否则主要增加等待。
图表将在阅读到此处时加载…
这是一张职责图,不表示每次文件操作都走完全部路径。Page Cache(页缓存)是内核缓存文件数据的内存区域:读取命中缓存时可能不产生新的设备读取;缓冲写先修改缓存,也可能在设备写入前返回。随后把缓存中的修改交付存储,称为回写。fsync 则按文件系统和实际存储链的同步契约等待,不能只理解成“写一个数据块”。文件大小、数据位置等描述文件的信息称为元数据,也可能参与 I/O。
2.1 应用操作数不等于设备请求数
| 应用动作 | 下层可能发生什么 | 不能直接推断 |
|---|---|---|
| 一次读取 | 缓存命中、预读、拆分或合并 | 一定对应一次物理磁盘读 |
| 多次小写入 | 先修改缓存,后批量回写 | 一定对应同次数设备写入 |
| 一次 fsync | 数据、日志、元数据及同步等操作 | 只等待某个数据块的一次服务时间 |
| mmap 页访问 | 建立映射、缓存访问或文件缺页读取 | 没 read 调用就没 I/O |
| 数据库访问几个页 | Buffer Pool(数据库缓冲池)、文件系统与设备各自处理 | B+ 树层数就是磁盘 I/O 次数 |
Linux 块层用 BIO 结构描述 I/O 数据及其目标范围,用 Request(块请求)组织交给下层处理的工作;一个 Request 可能包含一个或多个 BIO。相邻访问可能被合并,较大的访问也可能被拆分,所以应用调用、BIO 和设备请求之间没有固定的一一对应关系,更不能把它们直接等同于数据库页或业务请求。
3. blk-mq 与调度:多队列不等于没有排队
blk-mq(Multi-queue Block I/O,多队列块 I/O)是 Linux 用于组织多 CPU、多队列块请求的框架。软件侧负责组织请求,硬件侧提交队列用于向设备交付工作。具体路径受设备、驱动和配置影响:某些请求可以直接提交,某些先经过调度、合并或资源等待。
“多队列”解决的是怎样组织并行提交,并没有让处理资源变成无限。提交槽位不足、设备处理不过来或配额受限时,请求仍要等待。在途请求指已经发起、尚未完成的请求,可能正在排队,也可能正在处理。
3.1 为什么合并、拆分和调度同时存在
- 合并:把满足条件的相邻请求合在一起,可减少部分请求管理开销;是否能合并受访问类型、设备限制和实现规则影响。
- 拆分:单次应用范围可能超过下层限制或跨越不同对象,需要拆成多个请求。
- 调度:在延迟、吞吐、公平性和设备特性之间组织提交,不是保证所有请求按应用到达顺序完成。
- 限流和资源等待:队列槽位、驱动资源和远端配额都可能推迟提交。cgroup 是 Linux 对一组进程计量和控制资源的机制,其 I/O 控制也可能限制提交或处理速率。
同一请求在不同层的“开始”和“结束”不一定相同。排队时间和服务时间必须注明观测边界;设备完成后应用还可能等调度、锁或业务处理。
3.2 I/O Scheduler 与 CPU Scheduler 别混淆
I/O Scheduler(I/O 调度器)组织块请求的提交;CPU 调度器选择哪个线程使用 CPU。因此,设备报告完成并唤醒线程后,线程仍可能等到获得 CPU 才继续执行。应用延迟不能直接等同于设备请求耗时。
none、mq-deadline、bfq 等调度器选项是否可用,取决于内核、设备和配置。none 不表示整个链路没有队列,也不保证更快。HDD(机械硬盘)需要移动磁头定位数据,这个过程称为寻道;SSD(固态硬盘)没有机械寻道,但仍要考虑并发负载之间的公平性和延迟。
不要在线上因为“某算法名更高级”直接改调度器。先固定负载、队列深度、同步语义和回退方案,验证业务尾延迟与相邻服务影响。
4. 指标地图:IOPS、吞吐、延迟与队列
统计边界指从哪里开始计数、到哪里算完成。例如,应用调用耗时与块设备请求耗时属于不同边界。比较指标时还要对齐采样窗口,即统计的时间区间。P99 是延迟分布的第 99 百分位,用于观察长尾,不能由平均值直接得出。
| 指标 | 回答什么 | 常见误读 |
|---|---|---|
| IOPS(I/O Operations Per Second) | 每秒完成或提交多少 I/O 操作,具体以统计定义为准 | 不注明层和请求大小就比较不同设备 |
| Throughput,吞吐 | 单位时间传输多少字节 | 低吞吐就代表没有 I/O 等待 |
| Latency,延迟 | 指定边界内完成一次操作要多久 | 把平均延迟当 P99,或当纯设备服务时间 |
| Queue Depth,队列深度 | 指定边界内有多少待处理/在途请求 | 越深越快,不管延迟和资源预算 |
| Utilization,忙碌利用率 | 工具所定义窗口中的忙碌程度 | 自动等于设备全部并行能力已耗尽 |
4.1 请求大小决定吞吐与 IOPS 的关系
KiB 表示 1024 字节,MiB 表示 1024 × 1024 字节。在操作大小固定、统计边界一致的教学条件下:
text
吞吐字节/秒 ≈ IOPS × 每次请求字节数
1000 次/秒 × 4 KiB = 约 3.90625 MiB/s
1000 次/秒 × 1 MiB = 1000 MiB/s相同 IOPS 可以对应完全不同吞吐。实际请求大小分布、合并拆分和读写混合都会改变关系,不能把平均块大小当每条请求的固定大小。
4.2 访问方式速查:同一块盘为什么差很多
| 工作方式 | 主要改变什么 | 不能省略的条件 |
|---|---|---|
| 顺序 / 随机 | 数据位置和局部性;可能影响合并、预读和后端访问 | SSD、HDD、虚拟后端不同,不能套固定倍率 |
| 小块 / 大块 | 同样字节量需要的操作数与每次开销 | 对齐、拆分、大小分布和读写混合 |
| 串行 / 多个在途 | 同时可推进的请求数 | 并行度可能提高完成率,也可能只增加排队和尾延迟 |
| 缓冲 / 直接 I/O | 部分缓存与交付路径 | 直接不等于同步持久化,支持和对齐需核验 |
| 普通写 / 每次同步 | 何时等待提交与相关元数据 | 比较时必须保持相同耐久性要求,不能靠省同步宣称同等优化 |
顺序访问是连续访问相邻数据,随机访问则是分散访问不同位置。直接 I/O 改变部分缓存路径,不等于数据已经持久化;其支持情况和对齐要求取决于实际环境。比较串行同步写与批量写时,尤其要说明何时可以向调用方报告成功:若批量写减少了同步次数或改变了确认时机,就不能只凭吞吐更高认定是同等保证下的优化。
4.3 稳定条件下,用 Little's Law 建立队列直觉
Little's Law(利特尔定律)把数量、速率和时间联系起来:在适用的稳定统计条件下,平均在途数量约等于平均到达或完成速率乘平均停留时间。这里的停留时间包含选定边界内的排队和处理时间。
text
平均在途数量 ≈ 操作/秒 × 平均停留秒数
例如 2000 次/秒 × 0.005 秒 ≈ 10 个在途操作必须使用同一系统边界、单位和窗口,并满足相应长期稳定条件。突发、启动、积压快速增长以及不同层计数混用时,不应机械相乘;它也不能推导尾延迟。
这个关系还说明:如果增加在途数量后完成速率没有提高,平均停留时间就会变长。它能帮助判断并发是否主要变成了排队,但不能单独指出等待发生在哪一层。
5. 可运行实战:验证单位与范围,不伪造设备基准
以下程序使用 Python 3 和标准库。保存为 io_metrics_demo.py,使用 python3 io_metrics_demo.py。它只计算示例参数,不访问设备、不制造磁盘负载。两个函数分别对应吞吐换算和利特尔定律,输入检查拒绝负数、非有限数和零请求大小。
python
from math import isfinite
def validate_nonnegative(value):
if (isinstance(value, bool) or not isinstance(value, (int, float))
or not isfinite(value) or value < 0):
raise ValueError("输入必须是有限非负数")
def throughput_mib(iops, request_bytes):
validate_nonnegative(iops)
validate_nonnegative(request_bytes)
if request_bytes == 0:
raise ValueError("请求大小必须为正")
return iops * request_bytes / (1024 * 1024)
def average_inflight(rate_per_second, mean_seconds):
validate_nonnegative(rate_per_second)
validate_nonnegative(mean_seconds)
return rate_per_second * mean_seconds
def main():
small_requests = throughput_mib(1000, 4096)
large_requests = throughput_mib(1000, 1024 * 1024)
assert small_requests == 3.90625
assert large_requests == 1000
assert average_inflight(2000, 0.005) == 10
print("assumed 4 KiB requests, MiB/s:", small_requests)
print("assumed 1 MiB requests, MiB/s:", large_requests)
print("stable-boundary average inflight:", average_inflight(2000, 0.005))
try:
throughput_mib(1000, 0)
except ValueError:
pass
else:
raise AssertionError("应拒绝零请求大小")
if __name__ == "__main__":
main()预期输出:
text
assumed 4 KiB requests, MiB/s: 3.90625
assumed 1 MiB requests, MiB/s: 1000.0
stable-boundary average inflight: 10.0这些数字用于理解单位换算和统计关系,不代表某块磁盘的性能。真实基准还需明确读写、同步/异步、随机/顺序、数据大小、缓存冷热状态、队列深度、运行时长和持久化要求。冷热状态指所需数据是否已在缓存中。
生产环境不要对未知路径或块设备直接执行写入压测。即使文件名看起来像临时文件,也要确认容量、挂载与共享资源;本篇不把危险压测作为理解指标的前置。
6. Linux 只读实战:先找设备,再采样
以下命令用于 Linux,要求已有 util-linux、sysstat 工具及相应读取权限。先把 ./app.log 替换为要分析的已确认文件路径,并确认目标进程 PID(进程标识)。findmnt 查看文件所在挂载,lsblk 展示块设备层级,再用 iostat 在有限窗口内采样;这样才能把业务等待与正确的设备联系起来。
bash
# util-linux:查看已确认文件路径所在的挂载,不写设备。
findmnt -T ./app.log
lsblk -o NAME,TYPE,SIZE,FSTYPE,MOUNTPOINTS
# sysstat:有限采样,-y 跳过启动以来首份报告。
iostat -xz -y 1 3
# 查看已确认进程的 I/O 计数,数字 12345 必须替换。
target_pid=12345
cat "/proc/$target_pid/io"
# 内核支持时可观察 I/O 停顿口径,不把它当设备容量百分比。
cat /proc/pressure/ioMOUNTPOINTS 等列受 util-linux 版本影响;不支持时先查本机 lsblk --help。网络文件系统可能没有可直接对应的本地块设备,容器里也未必可见完整设备层级。
6.1 iostat 常见字段怎样解释
| 字段 | 常见 sysstat 含义 | 必须保留的条件 |
|---|---|---|
r/s、w/s | 相应设备层每秒读写请求 | 不等于应用 read/write 次数 |
rMB/s、wMB/s 等 | 工具单位下的读写传输率 | 字段名称和单位按版本/选项确认,不与 MiB 混用 |
r_await、w_await 或 await | 相应操作平均等待时间,含队列与服务等统计范围 | 不是 P99,也不是纯设备固件处理时间 |
aqu-sz | 相应层的平均队列/在途口径 | 不代表整个路径所有队列之和 |
%util | 工具按设备统计定义的忙碌时间比例 | 多队列 SSD、RAID、虚拟设备不能按单队列饱和直觉归因 |
device mapper 是 Linux 的块设备映射机制,可在底层设备之上构造逻辑设备;RAID 是组合多个设备的磁盘阵列。叠加设备可能在多个层重复观察相同工作,不能把分区、映射设备和物理盘的吞吐全部相加当业务总量。先画设备路径,再决定在哪层分析。
/proc/<pid>/io 的 rchar/wchar 与 read_bytes/write_bytes 等字段描述不同范围;缓存、回写与取消写入会影响归因,读取权限也有限制。别把进程逻辑读写字节等同于某台物理设备的完成字节。/proc/pressure/io 提供 PSI(Pressure Stall Information,压力停顿信息),用于观察任务因 I/O 而停顿的情况,并不是设备容量利用率。
7. 排障闭环:哪些证据支持哪个假设
先记录业务在哪个操作上变慢,再对齐同一时间窗口的进程和设备数据。下表中的原因都是候选假设;指标变化只能缩小范围,需要下一步证据才能确认。
| 现象 | 候选原因 | 下一步验证 |
|---|---|---|
| 低吞吐、高延迟 | 小块随机、串行同步、限流或下层慢 | 请求大小、并发度、同步阶段与真实层级 |
| 队列升高、完成速率不升 | 能力不足或提交过量 | 同窗口到达/完成、错误和限额,检查是不是持续积压 |
| util 高但业务正常 | 设备持续工作但未伤害需求 | 业务长尾、余量和并行能力,不盲目扩容 |
| fsync 慢而 write 快 | 缓冲接受快,提交或日志等待慢 | 分阶段时长、回写与设备路径 |
| 请求完成后还没响应 | 调度、锁、业务计算或网络发送等待 | 完成到唤醒、执行和响应时间线 |
| 多个服务同时抖动 | 共享设备、配额、远端存储或回收压力 | 实例对齐、挂载层级、相邻负载与平台证据 |
iowait 是 CPU 统计口径,不是进程等磁盘时间的总和,也不是所有 I/O 压力的可靠百分比。一张 CPU 图不能替代进程等待、设备队列和业务阶段证据。
先核对 文件与描述符的空间和对象身份,再分析 回写与同步,避免把磁盘满、打开旧对象和设备慢混为同一故障。
8. 工程取舍与容易踩的坑
调整参数前,先明确要改善的是吞吐、平均延迟还是尾延迟,并保持负载和持久化要求一致。增加队列深度应观察完成速率是否随之提高;若只是等待时间增加,就需要限制提交量,而不是继续加并发。调整 I/O 调度器也只能改变部分请求组织策略,无法消除外部配额或下层错误。
对延迟敏感服务,控制在途工作和同步批次可能比无限增加并发更有效;对吞吐任务,合适批量可能改善资源使用,但也可能干扰共享设备上的其他服务。需要同时检查吞吐、平均与尾延迟、内存占用和服务间公平性。优化结论必须在目标资源预算内验证,不能从宣传带宽直接推演业务 SLA(服务等级协议)中的延迟或可用性承诺。
9. 名词解释与延伸阅读
| 名词 | 简短解释 |
|---|---|
| Block Device / BIO / Request | 块地址访问对象 / Linux I/O 数据描述结构 / 下层组织提交的请求 |
| blk-mq / I/O Scheduler | 多队列块 I/O 框架 / 块请求组织策略 |
| IOPS / Throughput | 单位时间操作数 / 单位时间传输字节 |
| Latency / Queue Depth | 指定边界的完成时长 / 相应边界的在途或排队数量 |
| await / util | 工具定义的平均等待时间 / 设备忙碌时间口径 |
| Little's Law / iowait | 稳定条件下数量、速率和时长的关系 / CPU 侧的相应等待统计口径 |
- 前置解释:Page Cache 与持久化,区分缓存交付和设备提交;缺页与 mmap,解释没有显式 read 也可能有 I/O。
- 自然后续:I/O 模型与 epoll,区分任务等待方式、就绪与完成;普通文件块 I/O 不能直接套 socket 就绪模型。
- 跨专题对照:数据库存储与缓冲池,理解数据库页、OS 页和设备请求的粒度差异。
- 专项排障:容量与 I/O 故障,在明确路径和访问方式后追空间、错误和设备等待,不用压测代替初筛。
- 依据:Linux 内核
block/blk-mq、admin-guide/iostats;sysstat 的iostat(1)、pidstat(1);Linuxproc_pid_io(5)与accounting/psi文档。字段和单位必须核对安装版本。
10. 一句话总结与三个要点
存储慢要沿文件、队列、驱动和设备逐层定位,用一致边界解释速率、时长与在途数量。
- 应用调用、数据库页和设备请求不一一对应,先识别缓存、拆分合并与设备层级。
- IOPS、吞吐、延迟、队列和 util 各说明一部分,平均值和忙碌百分比都不能直接代表长尾或饱和。
- 先采样和反证,再调整并发、批次或调度策略;不要用危险整盘压测作为基础实验。