外观
磁盘满了、inode 耗尽或 I/O 卡住:定位真实文件系统并安全止损
“有空间却写不进去”“删日志后空间没有释放”“磁盘等待让接口卡住”,可能来自不同原因。本文面向系统学习后端开发的程序员,先解释路径、文件对象与存储空间的关系,再从错误码和现场指标区分容量不足、写入受限与 I/O 等待,最后制定保护数据的止损与恢复方案。
1. 场景:清日志没有恢复写入,问题到底在哪里
考虑两个教学场景:服务写日志报 No space left on device(设备上没有可用空间),管理员删除了一批旧文件,df 显示的已用量仍没有明显下降;另一个服务的 df 显示尚有空间,却持续无法创建文件。df 查询的是文件系统的容量统计,无法单独解释这两种现象。
先确认三件事:哪次操作返回什么错误、它实际访问哪个文件系统、失败的是空间分配还是读写操作。 文件名被删除后,进程可能仍持有打开的文件;创建文件既需要存放数据的空间,也需要记录文件信息的资源。此外,配额、只读状态和设备故障也可能阻止写入。
本文命令面向 Linux,使用 GNU coreutils、util-linux,以及可选的 sysstat、lsof,参数以目标版本为准。练习用 Python 3 在临时目录创建约 1 MiB 逻辑长度的文件,不填满磁盘、不修改挂载、不注入故障。现场排查应以服务实际访问的文件系统、块设备和容器视图为准。
2. 基础地图:路径不是设备,长度不是占用
文件系统负责组织文件名称、元数据和数据。挂载把文件系统接入进程可见的目录树;路径最终访问哪个文件系统,取决于这个进程所见的挂载关系。后端是文件系统依赖的存储,例如本地块设备或远程存储服务。因此,路径相近的两个目录也可能使用不同的存储。
inode(索引节点)保存文件的类型、权限等元数据;目录保存名称到 inode 的关联。FD(File Descriptor,文件描述符)是进程访问打开对象的整数入口。删除文件名的操作称为 unlink,它移除目录中的名称关联,不会自动关闭进程已有的 FD。即使最后一个名称已删除,只要相关打开或映射引用仍存在,文件占用就可能继续保留。
text
应用使用的路径
→ 进程所见目录与挂载
→ 文件系统 / 容器可写层 / 远程存储
→ 文件数据与元数据分配
→ 块设备或远端服务
同一次“写失败”可能发生在不同层:
名称创建 → 元数据分配 → 数据写入 → 延迟回写 → 持久化确认完整对象模型见 inode、链接与 FD;容器视图见 namespace。
| 口径 | 含义 | 常见误读 |
|---|---|---|
| 文件逻辑长度 | 从文件头到末尾的字节范围 | 等于已经分配的物理空间 |
| 文件已分配块 | 文件系统为该文件分配的块计量 | 等于整个后端真实物理占用 |
| df 空间 | 挂载文件系统提供的容量/可用量统计 | 等于某目录 du 的总和 |
| du 空间 | 扫描可见目录项关联文件的占用 | 可以发现所有已删除但仍打开的对象 |
| inode 可用量 | 相应文件系统还能分配的节点数等口径 | 字节充足就必定能创建文件 |
| 用户/项目/存储配额 | 相应主体或项目的额度 | 和整个文件系统剩余空间完全相同 |
| 后端与快照空间 | 卷、池、快照或可写层的实际分配 | 删除当前目录文件就必定回收快照引用 |
先看最基本的区别:文件的逻辑长度描述“内容延伸到哪里”,已分配块描述“文件系统为它分配了多少空间”。稀疏文件(Sparse file)的部分逻辑区间没有实际分配数据块,因此长度可以大于已分配空间。
创建大量小文件时,每个文件的数据可能很少,但仍需要相应的 inode 等元数据资源;这些资源不足时,字节余量并不能保证创建成功。某些文件系统动态分配 inode,或提供不同统计方式,因此 df -i 不能统一解释成所有文件系统都有固定大小的 inode 池。
配额(Quota)限制某个用户、组、项目或存储范围的使用量,整体有空间不代表这个范围还有额度。进一步比较后端占用时,还要考虑共享块、压缩和快照:共享块可能被多个对象引用,快照保存某个时点的数据状态,删除当前文件后也未必解除全部引用。这些机制使文件计量、文件系统计量与后端实际占用不一定相等。
3. 先按错误码分类,再核对现场
errno 是系统调用失败时的错误编号,应用日志可能只保留对应文字。需要保留操作类型、路径、时间和原始错误,不要把不同错误都归纳成“磁盘满”。
| 错误 | 常见候选 | 下一步证据 |
|---|---|---|
| ENOSPC | 数据或元数据可分配空间不足等 | 实际挂载的字节、inode、池与层级空间 |
| EDQUOT | 用户、组或项目等配额耗尽 | 实际主体、项目与目标配额规则 |
| EROFS | 目标处于只读文件系统视图 | 挂载属性、容器层和内核错误记录 |
| EIO | 低层或相关 I/O 错误,原因依后端 | 设备/远端错误、回写日志与故障时间线 |
| EACCES / EPERM | 身份、目录权限或安全策略拒绝 | 身份与安全策略 |
| EMFILE / ENFILE | 进程或系统打开文件资源受限 | FD 与限额,不应先去删除磁盘文件 |
错误码用于缩小候选范围,一个错误仍可能有多种原因。write 还可能发生短写,即返回的已写字节数少于请求量,需要按应用协议继续处理。
对于经过页缓存的写入,数据可能先进入内存,稍后才回写到下层存储;回写是把已修改的缓存数据向下层提交的过程。之前的回写错误也可能在后续 write 或 fsync 时才被报告。fsync 用于提出相应文件的持久化同步要求,因此不能仅凭 write 成功就报告“保存成功”。需要持久化保证的业务,应检查完整写入和同步错误,并进入明确的失败或恢复流程,详见 Page Cache 与 fsync。
4. 命令实战:必须看服务实际写入的挂载
以下 Bash 命令只读。path 应设为服务实际写入的已存在目录或文件,work 应是已确认属于相应挂载的业务子目录。若创建的文件尚不存在,先检查其已存在的父目录。/var/lib 可能有独立挂载,检查 / 的容量不能代替检查业务路径。
bash
# Linux;示例路径应按实际服务修改。
path=/var/log
work=/var/log
if [ ! -e "$path" ] || [ ! -d "$work" ]; then
printf '请先设置实际存在的目标路径\n' >&2
exit 1
fi
# util-linux:定位来源、文件系统类型及挂载属性。
findmnt -T "$path" -o TARGET,SOURCE,FSTYPE,OPTIONS
# GNU df:分别核对字节和 inode,不混为一个容量。
df -h -- "$path"
df -i -- "$path"
# GNU du:限定子目录、单个文件系统和最长执行时间。
# 深度1限制输出层次,不限制遍历成本;timeout 也不能保证立即打断 D 状态。
timeout 15s du -x -h --max-depth=1 -- "$work"
scan_status=$?
if [ "$scan_status" -ne 0 ]; then
printf 'du 未完整成功,退出码=%s;不要把不完整结果当全量\n' "$scan_status" >&2
fi先读 findmnt 的结果,确认挂载点、来源、文件系统类型和读写属性,再比较同一路径的 df -h 与 df -i。前者检查字节余量,后者检查文件系统提供的 inode 余量。du 沿目录扫描可见文件,用于寻找占用集中在哪些子目录;它与 df 的统计范围不同。
du 在大目录或故障设备上仍可能增加 I/O,批准范围不允许扫描就先用现有目录指标。权限不足、超时、跨挂载跳过等情况都会导致覆盖不完整。命令中的 --max-depth=1 只限制显示层次,仍需遍历更深的目录;D 状态表示任务处于不可中断睡眠,timeout 发出终止信号也不保证它立即退出。
容器里应在实际服务挂载视图核对路径;宿主机同名目录可能是另一对象。OverlayFS 把只读下层(lower)与可写上层(upper)合并展示。删除下层文件时,whiteout(隐藏下层名称的标记)与直接删除普通文件的效果不同,不能据此推断下层空间已经释放,见 镜像分层与 OverlayFS。不要直接删除运行时管理的层目录。
4.1 df 大、du 小,差值不是“已删除日志大小”
比较的是 df 的已用量与 du 的扫描占用。df 可以统计到已删除但仍被引用的文件占用,而 du 无法再通过已删除的名称找到它们。但这只是差值的一种原因,应依次核查:
- 是否同一个挂载、同一视图、接近的时间窗口,扫描有没有权限错误。
- 已删除但仍打开或映射的对象是否存在,相关服务是否仍持有。
- 挂载覆盖下不可见目录、文件系统元数据、保留空间是否影响统计。
- 快照、共享块、压缩、远端或存储池计量是否不同。
lsof 用于查看进程持有的打开对象。下面限定到已确认的目标 PID(进程编号),查找链接数小于 1 的对象:
bash
# Linux + lsof;替换 PID。-a 将条件相与,+L1 筛选链接数小于1的对象。
pid=12345
lsof -nP -a -p "$pid" +L1lsof 没输出可能是无匹配,也可能是权限或可见性不足。SIZE/OFF 字段要结合对象类型理解,不能把所有行相加当精确可释放空间;重复 FD 可能指向同一对象,映射引用也需要结合对象检查。
确认服务持有已删除日志后,应通过它支持的日志重新打开(reopen)或轮转协议关闭旧对象,必要时在批准窗口做受控重启。轮转用于按规则切换日志文件,只有相应旧引用被释放,才可能回收其占用。不要把“向 /proc/PID/fd/N 截断”当通用清理方法:可能破坏正在写的数据、绕过应用协议,甚至截错对象。
5. 最小练习:亲眼区分逻辑长度与已分配块
保存为 file_space.py,运行 python3 file_space.py。程序把写入位置移到距文件开头约 1 MiB 的地方,只写一个字节,再检查长度、开头内容和已分配块。文件在独立临时目录中,离开相应上下文后自动关闭并删除;Windows 上仍可验证逻辑内容,但 Linux 的 st_blocks 口径不作跨平台泛化。
python
# Python 3;不写满磁盘,只在末端写1字节,形成可能稀疏的逻辑区间。
import os
import sys
import tempfile
from pathlib import Path
with tempfile.TemporaryDirectory(prefix="file-space-demo-") as directory:
target = Path(directory) / "small-sparse.bin"
logical_size = 1024 * 1024
with target.open("w+b") as stream:
stream.seek(logical_size - 1)
assert stream.write(b"X") == 1
stream.flush()
metadata = os.fstat(stream.fileno())
print("逻辑字节:", metadata.st_size)
blocks = getattr(metadata, "st_blocks", None)
if sys.platform.startswith("linux") and blocks is not None:
# Linux inode 手册的 st_blocks 单位为512字节;不是 st_blksize。
print("当前计量已分配字节:", blocks * 512)
else:
print("当前平台不验证 Linux 已分配块口径")
stream.seek(0)
assert stream.read(1) == b"\x00"
stream.seek(logical_size - 1)
assert stream.read(1) == b"X"
assert metadata.st_size == logical_size
assert target.exists()
# TemporaryDirectory 负责清理,异常路径同样会关闭文件并清理目录。
assert not Path(directory).exists()预期输出与检查结果:逻辑长度为 1,048,576 字节,开头读到零,末尾读到 X,临时目录最终不存在。支持稀疏分配的文件系统可能只分配少量块,但具体值受分配、延迟分配、压缩和后端影响,不能预设为 4 KiB。延迟分配是把实际块分配推迟到后续阶段,因此当前统计也未必代表最终占用。
这里 flush 只是把 Python 缓冲提交给下层,练习不验证断电持久化。Linux 的 st_blocks 按 512 字节单位计数,代码将其换算为字节;它与表示建议 I/O 块大小的 st_blksize 不同。文件长度也不能直接预测备份、复制或存储池的消耗,复制后的占用还取决于工具是否保留稀疏区间。
6. 有空间但仍很慢:进入 I/O 等待分支
图表将在阅读到此处时加载…
容量回答“还能放多少”,I/O 延迟回答“读写多久完成”。设备即使有空间,也可能忙于回写、后台维护、竞争或错误重试。若业务等待文件读写或同步完成,这些等待就可能进入接口响应时间。
先明确业务文件所在的逻辑卷、设备映射和后端。逻辑卷是存储管理层提供的逻辑块设备,同一次 I/O 可能经过多个设备层;把分区、逻辑卷、物理盘的指标相加,可能重复计算同一批工作。
bash
# Linux + sysstat;-y 跳过启动以来的首份报告,采三次区间。
iostat -x -y 1 3
# 若系统使用 systemd journal 且允许读取,限制时间和输出数量。
# 内核日志可能含路径与设备标识,外发前脱敏。
journalctl -k --since '10 minutes ago' -n 100 --no-pager选取已确认相关设备行,并与同一时间窗口的业务延迟、D 状态、I/O PSI 和错误记录关联。PSI(Pressure Stall Information,资源压力停顿信息)描述任务因资源不足而停顿的情况,I/O PSI 用于观察 I/O 相关停顿。D 状态本身不能确定是在等哪块盘,还需要任务等待位置和后端证据。命令权限不足或系统不使用 journal 时,应按已有日志渠道获取证据,不能据此认定没有内核错误。
| 指标 | 正确用法 | 不能直接证明 |
|---|---|---|
r/s、w/s 与吞吐 | 每秒读写请求数与数据传输量,用于看工作量变化 | 高吞吐就代表低延迟 |
await 等平均等待 | 请求平均完成耗时,结合具体字段定义比较同设备、同版本和窗口 | 应用 P99 或纯硬件服务时间 |
aqu-sz 等平均在途量 | 平均尚未完成的请求量,结合吞吐和等待看堆积 | 数字高就必然是硬盘坏了 |
%util | 看该设备统计口径的活动时间占比 | 对所有并行设备统一的饱和阈值 |
| 内核/后端错误 | 关联操作、设备和恢复行为 | 单条历史报错就是当前唯一根因 |
应用 P99 是响应时间的第 99 百分位,设备的平均请求耗时无法直接代替它。并行设备可以同时处理多个请求,活动时间占比也不等于吞吐能力的使用比例,因此不能把 %util=100% 简化成“已经到吞吐上限”。
Linux 内核 iostats 文档规定了请求计时与并发计数边界;Linux 5.0 起相关 busy-time(设备忙碌时间)计量对并发请求还存在特定漏计边界。详细模型见 块 I/O 与指标。
7. 安全止损:先保数据和恢复路径,再释放预算
| 根因候选 | 支持与反证 | 安全处理方向 |
|---|---|---|
| 日志或临时数据增长 | 路径增长与写入量对应;反查其他挂载和持有对象 | 暂停非必要批量输出,按已确认保留策略轮转和清理 |
| inode 耗尽 | 创建小文件失败且相应节点不足;反查配额 | 减少小文件生成,授权清理已过期对象,长期调整组织方式 |
| 删除对象仍被引用 | 对象、服务与持有关系明确;反查重复计量 | 按应用协议 reopen/close,必要时受控重启 |
| 配额或后端池不足 | 实际主体或池限额命中;反查上层 df | 在预算与审批内扩额度或迁移,处理持续增长源 |
| 只读或设备错误 | 挂载、错误时间线和设备健康对应 | 降低写入、切换已验证副本或进入维护,不强行绕过保护 |
| 工作量竞争导致 I/O 堆积 | 后台工作与等待同窗;反查计算/锁等待 | 有限暂停非关键后台任务或降并发,比较前后业务与错误 |
不要直接删除 MySQL 的 redo(重做日志)、undo(撤销日志)、binlog(二进制日志)或备份链文件来腾空间。它们承担不同的事务、恢复或复制职责;备份链是完成恢复所依赖的一组备份与日志。日志的恢复职责和保留条件见 MySQL 三类日志,备份链与恢复验证见 数据库备份恢复演练。通用文件清理不能代替数据库自身的管理协议。
设备报错后也不要未经确认强制重新挂载(remount)为可写,或在在线读写挂载上直接运行修复型 fsck(文件系统检查与修复工具)。检查、卸载、修复与恢复必须遵守相应文件系统和存储产品的流程;重新可写不等于数据已经一致。
7.1 容量计划要同时预算字节、inode 和恢复空间
容量计划需要估计新增占用减去已回收占用后的净增长速率。对字节和 inode 分别采用一致的单位与观察窗口,可使用下面的粗略模型:
text
预计消耗时间 =(可用量 - 必需保留量)/ 同窗口净增长速率这是情景估算,不是故障倒计时。净增长非正值时不要套公式;可用量已不高于必需保留量时,也不能把结果理解为仍有正常运行余量。流量突发、配额、快照、后台保留和 inode 增长都可能改变结果。保留量还应包含轮转、备份、恢复、临时转储和清理操作自身所需的空间。
清理后复测实际服务操作,确认写入、同步错误处理、业务数据和恢复材料完整,再看字节/inode 余量、增长趋势与长尾。只看到 df 降低,不足以宣布恢复;盲目缩短日志保留也可能损害审计与恢复能力。
8. 容易踩的坑、名词解释与依据
排查时,可以用四个问题检查证据是否连贯:失败操作是否对应已确认的挂载?容量比较是否采用同一范围和时间窗口?被清理对象是否仍有引用或恢复职责?干预后真实服务操作是否恢复?任一问题没有答案,都不应仅凭容量下降或一项平均指标宣布故障已解决。
不要用压测或填盘实验代替生产故障初筛。先采集范围明确的只读证据;故障注入与修复命令只应出现在有恢复方案的专用环境。
横向阅读:CPU 与 Load解释 D 与负载的关系;内存增长解释缓存、回收和换出为何影响 I/O;前置 诊断证据边界帮助控制扫描和采样成本。
| 名词 | 回查解释 |
|---|---|
| inode / FD | 文件元数据对象 / 进程访问打开对象的编号入口 |
| Sparse file | 有逻辑区间但部分区间未分配数据块的文件 |
| Quota | 针对主体、项目等范围的存储额度 |
| Unlink | 移除目录名称关联,不自动关闭其他引用 |
| Writeback / fsync | 缓存脏页向下层回写 / 对相应文件提出持久化同步要求 |
| Read-only mount | 对相应挂载视图不允许正常写入的状态 |
下面是定义依据;现场仍需记录发行版、内核、文件系统、挂载选项、工具版本和后端拓扑,不把示例当故障实测:
9. 一句话总结与三个要点
磁盘排障要从失败操作追到真实挂载、对象引用和后端能力,在保护数据与恢复路径的前提下释放空间或降低等待。
- 字节、inode、配额、只读和 I/O 错误是不同问题,先保留原始错误与目标路径。
- df、du、逻辑长度和后端分配口径不同,差值必须核验而非猜测。
- 清理与切换有保留、审批和回退边界,恢复以真实写入、数据正确和资源余量为准。