外观
10 - 文件名删了,空间为什么还在:inode、目录、链接与文件描述符
摘要
日志已经删除,df 却没显示空间释放;同一路径换成了新文件,服务却仍读取旧内容。这两种现象都需要区分文件的名称与已打开的对象。本文先解释路径、目录项、inode 和文件描述符之间的关系,再说明硬链接、符号链接、偏移共享、删除与重命名,最后给出小文件实验和排障方法。
阅读指引
- 前置阅读:Linux 文件命令、进程资源归属。先知道路径解析、打开和关闭由谁负责。
- 本文定位:文件身份、引用与生命周期的基础;write、缓存、回写和持久化是下一篇,磁盘容量与 FD 耗尽的专项排障在系列后段。
- 适用范围:主要讨论 Linux/POSIX 本地文件语义。NFS、OverlayFS、FUSE 和其他文件系统可能有附加行为,必须查实际实现;Windows 的打开共享与删除规则不直接套用。
- 示例要求:Python 3.8+。描述符偏移例子可在常见平台运行;删除仍打开文件及硬链接例子明确限 POSIX,文件系统必须支持相应操作。
- 验证边界:只创建字节级小文件,在独立临时目录内操作,不修改真实日志、不批量关闭 FD。不保证小实验让 df 显示可见容量变化,Linux 现场释放时间和可用权限需在目标环境验证。
1. 场景:删掉最大的日志,磁盘为什么没空出来
设想某服务持续写大日志。清理时执行 rm,目录里已经没有该文件,du 统计的占用也下降,但 df 仍显示文件系统接近满。如果重启服务后空间才恢复,很容易误以为删除命令没有及时生效。
另一种情况是用 rename 把新配置文件替换到原路径。操作成功了,服务却仍读旧内容:路径明明指向新文件,为什么服务没有切过去?
理解这两种现象的关键是:文件名用于查找对象,打开后的引用用于持有对象。 改变名称不一定改变服务已经持有的对象。是否需要重新打开文件或重启服务,要先确认这些引用的状态。
2. 文件全景:路径、目录项、inode、打开状态、FD
以读取 /var/log/app.log 为例,可以把过程拆成两段:
- 查找:内核从路径解析的起点逐层查找目录,在目录中找到名称
app.log对应的文件对象。目录项记录名称与对象的关联;inode(索引节点)描述对象的类型、权限、大小和数据定位等元数据。 - 打开并访问:
open成功后建立打开文件描述,记录这次打开的偏移和文件状态标志,并返回文件描述符(File Descriptor,FD)。程序随后把这个整数传给read、write等接口,内核通过进程的描述符表找到对应打开状态和文件对象。
偏移表示下一次顺序读写从文件的哪个字节位置开始。对于普通文件,后续通过 FD 访问时,不需要每次重新按原路径查找。因此,名称被删除或替换后,已有 FD 仍可能访问原对象。
| 对象 | 管什么 | 不等于什么 |
|---|---|---|
| Path,路径 | 从某个解析起点寻找目录与名称 | 文件内容的永久身份 |
| Directory Entry,目录项 | 在目录中把名称关联到对象 | 一份文件内容副本 |
| inode | 文件系统内的对象元数据,如类型、权限、大小、链接关系等 | 全局唯一文件名,或只有一个数据块 |
| Open File Description,打开文件描述 | 一次打开对应的内核状态,含适用偏移、状态标志等 | 路径字符串,或描述符整数本身 |
| File Descriptor,FD | 进程描述符表中的整数入口 | inode 编号、文件名或稳定的跨进程身份 |
上面的模型描述对象职责,不规定磁盘布局。Linux 的虚拟文件系统层(Virtual File System,VFS)为不同文件系统提供统一接口;其中的 dentry 是用于名称查找的内存缓存对象,应与磁盘上的目录记录区分。实际 inode 和数据怎样存储,仍取决于文件系统实现。
图表将在阅读到此处时加载…
图中的箭头表示引用关系,不一定对应一层直接指针。文件映射是把文件内容关联到进程虚拟地址范围的机制,也可能持有对象引用。名称、打开状态和映射可以分别创建与释放,因此生命周期并不相同。
2.1 inode 身份怎么比较
在常见 POSIX 环境中,可以用 stat 返回的设备标识 st_dev 与 inode 编号 st_ino 组合比较文件身份。只比较编号不够,因为不同文件系统可能使用相同编号;对象删除后,编号也可能复用。因此,这个组合适合在明确的文件系统和观察时间范围内比较对象,不能作为永久全局 ID;特殊叠加实现还需单独核对。
stat(path) 观察路径当前指向的对象,fstat(fd) 观察 FD 已打开的对象。路径发生替换时,两者可能得到不同身份。目录本身也是文件系统对象,有自己的元数据;其中的名称关联与目标文件的内容是两回事。
2.2 stat 属性速查:长度、块数和时间各自说明什么
| 属性 | 对普通文件的基础解释 | 不能推出什么 |
|---|---|---|
| st_dev + st_ino | 设备范围与 inode 编号的组合观察 | 永久全局身份;编号仍可能复用 |
| st_mode / uid / gid | 类型、权限和所有者等状态 | 仅看目标文件位就保证整条路径可访问 |
| st_nlink | 相应名称硬链接计数 | 打开 FD 数、映射引用数或可以立即释放的空间 |
| st_size | 文件逻辑长度 | 所有字节范围都已经分配实际数据块 |
| st_blocks | Linux 中以 512 字节为单位报告的分配块数 | 等于 st_size 或底层存储池的独占物理占用;POSIX 单位不统一 |
| atime | 访问时间,更新规则受接口和挂载策略影响 | 每次读取必定立即改时间 |
| mtime | 内容修改时间;目录还有自己的修改语义 | 内容来自可信发布者 |
| ctime | inode 状态变化时间,内容写入也可改变它 | creation time,不是创建时间 |
Birth time(创建时间)是另一属性,是否可用取决于文件系统与接口,不能拿 ctime 冒充。时间戳本身也不构成来源认证;权限更新可能改变 ctime,而文件内容并未变化。
稀疏文件(Sparse File)允许部分逻辑范围没有相应数据块,所以逻辑长度可能大于已分配空间。快照、共享块和压缩也会影响底层空间计量。小例子见 容量与 I/O 排障,属性定义见 inode(7)。读懂这些属性不需要先研究某个文件系统的磁盘 inode 布局。
3. 名称怎样到达文件:目录与链接
相对路径从工作目录或接口指定的目录 FD 等起点解析,绝对路径从进程可见的根目录开始解析。解析过程中需要逐层处理目录、权限和符号链接。挂载(Mount)把文件系统接入目录树,路径经过挂载点时可能进入另一个文件系统视图。
目录的搜索权限,也称目录执行权限,决定能否通过该目录查找下一级名称。因此,只看目标文件的读权限,不能判断整条路径是否可访问。删除和重命名改变的是目录中的名称关联,主要涉及父目录权限,还受 sticky bit(粘滞位,用于限制目录内条目的删除和重命名)、只读挂载及安全策略等约束,不能只看目标文件是否可写。
3.1 硬链接:多个名称指向同一对象
Hard Link,即硬链接,是增加指向同一文件对象的目录名称关联。普通文件硬链接通常不能跨文件系统;目录硬链接也受严格限制,不能用它任意拼出目录环。
删除一个硬链接只移除相应名称,其他名称仍可访问该对象。Link Count,即链接计数,描述适用的名称关联数量,不包括每个打开 FD 的数量。
cp 和创建硬链接的 ln 都能得到两个名称,但对象关系不同:cp 通常建立独立目标文件,硬链接则共享同一文件对象,通过任一名称修改该对象都会影响其他名称看到的内容。即使复制采用文件系统优化,这种名称语义差异仍然存在,因此硬链接不能当作独立备份。
3.2 符号链接:保存一个路径,而不是直接增加目标硬链接计数
Symbolic Link,即符号链接,是保存目标路径的对象。它可指向不存在的目标;相对目标按链接所在目录等解析条件解释,而不是总按当前 Shell 所在目录解释。
stat 通常跟随符号链接查看目标,lstat 查看链接自身。删除符号链接通常删除链接对象的名称,不删除它所指向的目标文件。
检查“文件存在”后再打开,其他任务仍可能在两步之间替换路径。这称为 TOCTOU(Time Of Check To Time Of Use),即检查与使用之间的竞争:检查时的对象不一定是使用时的对象。可靠程序应尽量通过实际打开得到的 FD 验证对象,必要时结合基于目录 FD 的接口和安全解析规则;“先 ls 一下”不能提供完整安全保证。
4. open、dup 与独立打开:偏移在哪里
对同一路径分别调用 open,通常产生两个打开文件描述;dup 则复制描述符入口,仍引用原来的打开文件描述。因此,两个 FD 是否共享偏移,取决于它们是否引用同一个打开状态,而不取决于路径是否相同。
| 操作 | 描述符入口 | 偏移与状态 |
|---|---|---|
| 同进程线程使用一个 FD | 共享同一进程表 | 按实际引用共享打开状态 |
dup(fd) | 同表中新入口 | 共享同一打开文件描述的偏移与文件状态标志 |
分别 open(path) | 不同打开入口 | 通常偏移独立,底层文件内容仍是共同对象 |
fork 继承 FD | 父子有各自描述符表 | 对应入口仍引用同一打开文件描述 |
exec | 保留或按 close-on-exec 规则关闭 | 高级库的继承策略还需独立核对 |
描述符标志(Descriptor Flags)属于 FD 入口,例如 close-on-exec 表示执行 exec 时关闭该入口。文件状态标志(File Status Flags)属于打开文件描述,例如追加写标志。dup 共享后者,并不表示描述符标志也原样共享。
FD 数字可复用。某线程关闭 3 后,另一个线程不能仅凭数字还是 3 就认定原资源仍在;新的 open 可能已经把该数字分配给另一个对象。线程共享表的关闭责任见 资源归属。
4.1 顺序访问与定位访问:偏移共享要有协议
| 接口方向 | 偏移怎样使用 | 仍需保证什么 |
|---|---|---|
| read/write | 使用并推进相应打开状态的偏移 | 共享入口的访问次序、短读短写与错误 |
| lseek 后 read/write | 先改变共享偏移,再访问 | 两步不是一个不可分割操作,另一线程可能介入 |
| pread/pwrite 等定位接口 | 以指定偏移执行适用操作,不依赖推进普通共享偏移 | 重叠范围的数据一致性、错误与目标接口限制 |
例如线程 A 先 lseek 到记录 A,线程 B 再把同一打开状态的偏移改到记录 B,线程 A 随后的 read 就可能读到错误位置。定位读取把位置与读取放在同一次调用中,可以避免这类共享偏移竞争,但不会冻结文件内容,也不保证一次请求就读满。定位写入在不同平台和追加写标志下的行为还需核对,不能直接泛化。
4.2 可运行实战:dup 共享偏移,独立 open 不共享
保存为 fd_offset_demo.py,用 python3 fd_offset_demo.py 运行。使用 os.read 的原始 FD 接口,避免高级文件对象缓冲掩盖偏移观察。
python
import os
from pathlib import Path
import tempfile
def main():
with tempfile.TemporaryDirectory(prefix="fd-offset-demo-") as directory:
path = Path(directory) / "data.txt"
path.write_bytes(b"abcdef")
descriptors = []
flags = os.O_RDONLY | getattr(os, "O_BINARY", 0)
try:
original = os.open(path, flags)
descriptors.append(original)
duplicate = os.dup(original)
descriptors.append(duplicate)
independent = os.open(path, flags)
descriptors.append(independent)
assert os.read(original, 2) == b"ab"
assert os.read(duplicate, 2) == b"cd" # 共享原打开状态的偏移。
assert os.read(independent, 2) == b"ab"
assert os.lseek(original, 0, os.SEEK_CUR) == 4
assert os.lseek(independent, 0, os.SEEK_CUR) == 2
print("dup shares offset; independent open has its own offset")
finally:
for descriptor in reversed(descriptors):
os.close(descriptor) # 创建者负责关闭,仅关闭本例持有的 FD。
if __name__ == "__main__":
main()在上述条件下,断言全部通过时的预期输出为:
text
dup shares offset; independent open has its own offset先从 original 读取两个字节后,共享偏移变为 2,所以 duplicate 接着读取 cd;independent 有自己的偏移,仍从 0 开始读取 ab。
5. unlink:移除名称,不一定马上销毁对象
Unlink,即解除名称链接,是从相应目录移除名称关联。对普通文件,最后一个名称被移除后,若仍有适用打开或映射引用,对象可继续存在,最后引用释放后再按文件系统规则回收资源。
text
unlink 名称
→ 新的路径查找不再通过这个名称到达原对象
→ 已打开 FD 仍可持有原对象
→ 适用映射也可能继续持有对象
→ 名称和相关引用均不再需要时,按文件系统规则回收具体空间何时反映到统计,还受文件系统、快照、共享块和其他保留机制影响。即使最后一个打开引用已通过 close 释放,也不能保证 df 立即显示与文件逻辑长度相等的空间变化。
5.1 可运行实战:名称消失后仍能从已打开对象读取
保存为 unlink_demo.py。仅 POSIX 环境运行,并要求临时目录文件系统支持硬链接;Windows 会明确拒绝这个实验,不把平台差异称为 bug。
python
import os
from pathlib import Path
import tempfile
def main():
if os.name != "posix":
raise SystemExit("本例仅验证 POSIX 的硬链接与打开后 unlink 语义")
with tempfile.TemporaryDirectory(prefix="unlink-demo-") as directory:
path = Path(directory) / "original.txt"
alias = Path(directory) / "alias.txt"
path.write_bytes(b"still open")
os.link(path, alias)
assert path.stat().st_ino == alias.stat().st_ino
descriptor = os.open(path, os.O_RDONLY)
try:
assert os.fstat(descriptor).st_nlink == 2
path.unlink() # 只移除第一个名称,另一个硬链接仍可访问。
assert alias.read_bytes() == b"still open"
alias.unlink() # 移除最后一个名称,但本例仍持有打开引用。
assert not path.exists() and not alias.exists()
assert os.fstat(descriptor).st_nlink == 0
assert os.read(descriptor, 32) == b"still open"
print("names removed; open descriptor still reads the original object")
finally:
os.close(descriptor)
print("owned descriptor closed")
if __name__ == "__main__":
main()在上述 POSIX 和硬链接支持条件下,断言全部通过时的预期输出为:
text
names removed; open descriptor still reads the original object
owned descriptor closed两个名称依次删除后,链接计数降为 0,但已打开的 FD 仍能读取内容;随后程序关闭自己持有的 FD。这个实验检查名称、链接计数与打开引用,不用于测量磁盘容量变化。若硬链接受文件系统或权限限制,应检查环境条件,不要改成递归操作或提权来强行复现。
5.2 df 与 du 为什么可能不同
df查看文件系统的容量分配口径。du遍历可访问名称,并按工具选项统计相应文件使用;默认通常是分配空间,--apparent-size等选项则改变口径。- 没有目录名称但仍打开的文件,可能不被普通 du 遍历计入,却仍占用文件系统资源。
- 稀疏文件、硬链接去重、权限、挂载、元数据、预留、快照和共享块也可能造成差异。
ls -l 展示的是逻辑长度,也不能代替磁盘块占用。因此,df 与 du 有差值只是排查入口,不能直接断言差值全部来自已删除但仍打开的文件。
6. rename:切换名称,旧读者不必自动切换对象
Rename,即重命名或同文件系统内适用的名称替换,可用于受控发布:先准备完整新文件,再切换目标名称。
Linux 对适用的 rename 名称替换提供原子语义:当目标名称已经存在时,并发查找不会遇到一个因替换而暂时不存在的窗口,而是得到旧对象或新对象。这一保证有适用条件,跨挂载边界等情况会失败;mv 可能改用复制再删除的方式,不能一概等同于一次原子 rename。
text
发布前:目标名称 → 旧对象 ← 已打开的旧读者
准备新文件:临时名称 → 新对象
切换名称后:目标名称 → 新对象
旧读者仍可能持有旧对象名称切换不把所有已打开 FD 改指到新对象。服务需要按协议重新打开,或管理版本与读者生命周期;文件映射也有独立引用,回查 mmap。
原子名称切换也不等于断电持久化。新文件内容、目录变更和存储同步有另外的要求,下一篇会专门讨论。
6.1 日志轮转的两个常见方案
| 方式 | 核心动作 | 风险与协议 |
|---|---|---|
| 重命名旧日志、让应用重开 | 保留旧对象,新名称准备新对象 | 应用必须确实支持重开;发送什么信号由程序约定 |
| copytruncate | 复制内容后截断原对象,把原文件长度缩短 | 复制结束到截断之间的并发写入可能丢失,不能称严格无损轮转 |
直接删除服务仍打开的日志,新写入可能继续落到没有名称的旧对象。重建同名空文件也不保证服务切过去。不要未经确认向服务发送 SIGHUP;信号篇解释它的默认动作与程序约定差异。
7. FD 不只是文件:限额、泄漏与关闭责任
socket、管道、事件接口等也会占描述符入口。服务出现 Too many open files 时,候选可能是连接、未关闭文件、管道或其他资源,而不是磁盘里的文件太多。
Linux RLIMIT_NOFILE 的值比允许新打开的最高 FD 编号大一,是描述符编号范围的限制,不应无条件当作当前入口数。软上限是当前执行边界,硬上限约束普通调整;权限与系统级配置仍有限制。
| 错误 | 常见 Linux 含义 | 下一步 |
|---|---|---|
| EMFILE | 达到进程相应描述符限制 | 看目标 limits、FD 类型、增长速度和所有权 |
| ENFILE | 系统级打开文件等资源限制 | 查看系统级范围,不只调当前 Shell 的 ulimit |
| EBADF | 描述符不适用或已无效等 | 追踪生命周期、关闭和数字复用,而不只加限额 |
ulimit -n 通常只反映当前 Shell 的限制;不能证明由 systemd 或容器启动的服务也有同一值。提高限额可作为有预算的容量调整,但泄漏会继续增长,还会消耗 socket、缓冲和下游资源。
在 Java 中,try-with-resources 用于在作用域退出时关闭相应资源;连接池还需要规定谁借用、谁归还、谁最终关闭连接。垃圾收集(GC)处理对象内存,不能作为及时关闭所有操作系统(OS)资源的保证。网络连接池原理及限额关系可继续读 连接池与系统资源。
8. Linux 排障命令:限定对象与操作风险
bash
# Linux:先检查当前路径对应的文件系统和 inode 容量。
df -h .
df -i .
du -sh -- ./logs # 仅在目录存在且扫描成本可接受时使用。
# 12345 必须替换为已确认服务 PID;不修改限制、不关闭目标 FD。
target_pid=12345
grep -F 'Max open files' "/proc/$target_pid/limits"
ls -l "/proc/$target_pid/fd"
# 装有 lsof 且具备读取权限时,查看目标进程链接计数小于 1 的对象。
lsof -a -p "$target_pid" +L1/proc/<pid>/fd 常表现为指向相应对象的链接,socket/pipe 不都是普通磁盘路径。目标可并发退出或关闭 FD,读取结果只是采样时刻;权限不够时少看到的信息不能证明没有泄漏。
FD 很多时不要频繁全量 ls -l 或整机 lsof 扫描。先限定 PID 和时间范围,再分类与比较增长;输出也可能泄露文件路径和业务信息。
| 现象 | 核对顺序 | 安全处理方向 |
|---|---|---|
| rm 后空间未释放 | 同文件系统、deleted 打开对象、其他引用与快照 | 按应用协议重开或受控关闭,不盲目杀进程 |
| df -i 满、字节容量有余量 | inode 使用、目录分布与对象数量 | 按保留策略清理小文件,不能只加文件大小预算 |
| 路径更新、服务读旧内容 | 实际打开对象、映射和重载协议 | 发布完整版本并让读者受控切换 |
| FD 持续增长 | 类型、创建/借用/归还/关闭路径 | 修复所有权,调整预算需同步看其他资源 |
| 偏移被其他任务改变 | 同一打开状态、dup/fork 与缓冲 | 选择独立打开或适用定位接口,并保持一致性协议 |
不要用 truncate /proc/<pid>/fd/N 作为通用空间止损:它可能破坏活跃对象、程序偏移和业务数据。也不要批量关闭目标进程 FD;外部观察者不能替应用决定资源是否仍被借用。
OverlayFS 是叠加多个目录层的文件系统。容器中的删除,以及把下层对象复制到可写上层的 copy-up 操作,还有层叠语义,见 镜像分层与 OverlayFS。普通本地 unlink 模型不能直接解释所有镜像层的空间回收。
9. 容易踩的坑与工程取舍
把这些机制用于工程设计时,需要明确几个约定:
- 对象身份:路径用于查找,已打开对象用
fstat等适用接口检查;涉及并发替换时,不依赖之前的路径检查结果。 - 备份独立性:硬链接共享对象。备份方案要说明如何独立恢复,而不能只以“存在第二个名称”为验收条件。
- 清理完成条件:名称消失不等于资源回收完成。空间清理还要检查打开与映射引用、分配块和文件系统保留机制。
- 版本切换协议:发布者替换名称,读者按约定重新打开或保留旧版本;分别定义名称切换与持久化的成功条件。
- 资源所有权:规定谁创建、借用、归还和关闭 FD。提高限额应配合容量预算,不能代替泄漏修复。
10. 名词解释与延伸阅读
| 名词 | 简短解释 |
|---|---|
| inode / Directory Entry | 文件系统内对象元数据 / 目录中的名称关联 |
| VFS / Dentry | 统一文件接口层 / Linux 名称查找相关缓存对象 |
| Hard Link / Symlink | 多个名称关联同一对象 / 保存目标路径的链接对象 |
| FD / Open File Description | 进程整数入口 / 一次打开对应的偏移与状态对象 |
| unlink / rename | 移除名称关联 / 按条件改变或替换名称关联 |
| Link Count / Sparse File | 名称链接数量 / 逻辑范围与已分配块可能不同的文件 |
| atime / mtime / ctime | 访问 / 内容修改 / inode 状态变化时间,ctime 不是创建时间 |
| RLIMIT_NOFILE / TOCTOU | 描述符范围限制 / 检查与使用之间可发生变化的竞争 |
- 同专题回查:资源归属解释线程关闭责任,mmap解释映射后备与引用,内存回收区分文件缓存与磁盘容量。
- 自然后续:Page Cache、回写与 fsync解释数据与目录同步,块 I/O解释下层排队,I/O 模型与 epoll解释 socket 等描述符的就绪与部分读写。
- 专项排障:磁盘容量、inode 与 I/O区分口径和后端,描述符限额与等待链追分配、持有和释放责任。
- 依据:Linux man-pages
open(2)、dup(2)、unlink(2)、link(2)、symlink(7)、rename(2)、getrlimit(2)、path_resolution(7);Pythonos文档。特殊文件系统行为按实际实现核验。
11. 一句话总结与三个要点
文件名负责找到对象,FD 和映射负责持有对象,删除名称与释放资源不是同一个动作。
- 区分目录名称、inode、打开状态与 FD;dup 共享偏移,独立 open 通常有独立偏移。
- unlink 和 rename 改变名称关系,不自动关闭既有引用;容量变化还受文件系统规则影响。
- 空间和描述符问题先确认范围、对象与生命周期,再受控清理或调限额,不靠盲目删除和重启。