外观
Too many open files 与服务卡死:描述符限额、资源归属和等待链
连接池还有余量,创建连接却报错;进程仍在运行,请求却迟迟没有响应。本文面向系统学习后端开发的程序员,先解释描述符、内核打开对象和池资源的关系,再检查限额与资源增长;遇到服务卡住时,沿等待链寻找持有者及其无法推进的原因。
1. 场景:连接数没到池上限,为什么还是打开失败
考虑两个教学场景:接口开始报 Too many open files(打开文件过多),连接池显示仍有空闲连接;另一个实例 CPU 使用率很低,线程却长时间排队。池容量只约束这个池管理的资源,进程还可能持有日志文件、其他连接和管道。因此,池有余量不能证明进程还有可用的文件描述符。
两种问题可能独立,也可能互相放大。例如,响应未按客户端协议关闭,可能使连接迟迟不能归还;持有连接的线程若又在等待锁或外部 I/O,后续请求就会等得更久。排查时需要把“分配失败”和“已分配资源未释放”连起来看。
不能因为都带“文件”两个字,就先清磁盘;也不能因为线程很多,就宣布死锁。要问清楚:什么资源分配失败,谁拥有现存资源,谁在等谁,完成或取消后谁负责释放?
本文现场命令面向 Linux,使用 /proc 进程与系统信息接口、procps 工具,以及可选的 lsof/iproute2;具体字段以目标版本为准。Python 3 练习仅创建一个小文件和八个复制描述符,不降低真实服务限额、不刻意耗尽资源。现场采集应确认目标环境的权限、统计口径和线程栈格式。
2. 基础模型:三个“数量”不是一回事
可以先从一次文件读取理解这三层关系:业务代码持有文件对象,通过一个整数编号访问内核中的打开状态,内核再访问对应文件。
FD(File Descriptor,文件描述符)就是进程描述符表中的整数入口。Open File Description(打开文件描述)是内核维护的打开状态,保存当前读写偏移、文件状态标志等;偏移表示下一次读写的位置。连接池中的借用资源则是应用对象:业务借用和归还它,池决定如何复用底层连接。一个应用对象也可能同时管理多个底层资源。
text
应用请求 → 借用池中资源 → 使用底层连接的 FD
进程 FD 3 ──┐
├──→ 同一个内核打开状态 → 对应文件或 socket
进程 FD 4 ──┘
(例如用 dup 从 FD 3 复制出 FD 4)| 观察量 | 代表什么 | 不代表什么 |
|---|---|---|
| /proc/PID/fd 的入口数 | 当时可见的进程 FD 条目 | TCP 连接数或系统打开对象数 |
| FD 的最高编号 | 当前可见的最大整数槽位 | 总条目数;中间可能有空洞 |
| 系统打开文件对象计量 | 系统相应内核对象的分配情况 | 所有进程 FD 数相加 |
| 池的 leased/idle/pending | 已借出、空闲、等待等应用状态,依实现定义 | 每项都与一条 socket 一一对应 |
| TCP 状态数量 | 相应视图、端点过滤下的连接状态 | 都有仍存活的应用 FD |
socket(套接字,用于通信的内核对象)、普通文件和管道都可能占用 FD。用于事件通知的 eventfd、用于监视 I/O 就绪事件的 epoll 实例也会占用 FD,所以“打开文件过多”不只涉及磁盘文件。
dup 复制描述符时增加一个入口,但两个入口共享打开状态;fork 创建子进程时,继承的描述符也可引用相同打开状态。因此,把所有进程的 FD 数相加,不能直接得到系统打开对象数。基础见 inode 与描述符、进程资源归属。
2.1 限额到底限制什么
RLIMIT_NOFILE 是进程资源限制之一,约束新分配 FD 可使用的编号范围:其值比允许新打开的最高 FD 编号大一。soft limit(软限制)是当前生效的边界,hard limit(硬限制)是调整软限制时的上界之一;提高硬限制还受权限与系统上限约束。
通常的连续低编号分配下,可以用条目数接近软限制做风险预警,但不能把“FD 数等于 limit”当完整判定。降低限制后,已有高编号 FD 可能仍然存在;指定编号的复制操作也有自己的规则。
| 规则或错误 | 解释 | 该看哪里 |
|---|---|---|
| EMFILE | 相应分配无法满足进程描述符限制等条件 | 实际 PID 的 limits、FD 和操作错误 |
| ENFILE | 相应系统打开文件资源上限等条件 | 系统对象计账、内核日志与 file-max |
| fs.nr_open | Linux 可提高 RLIMIT_NOFILE 的系统上界 | /proc/sys/fs/nr_open |
| fs.file-max | Linux 系统级打开文件对象的相应上限 | /proc/sys/fs/file-max 与 file-nr |
| 池容量或并发许可 | 应用自己的准入边界 | 实际池、路由、租借时间与排队 |
Linux 的默认限额取决于发行版、登录环境、服务管理器与配置,不能统一假定为 1024。ulimit 查看或调整的是当前 Shell 的限制;由 systemd Unit(服务单元)或容器启动的服务可能采用另一套启动配置。因此应读取目标进程的实际限制,继承关系见 服务启动与环境。
3. 现场初筛:限制、类型和趋势一起看
先保存失败操作及原始错误码,再选定 PID(进程编号)。下面的 Bash 示例使用 GNU find 的 -printf 选项,依次读取目标身份、进程限额、三次 FD 数量、系统打开对象统计和线程等待位置。数量接近限额用于判断余量;类型与连续变化用于寻找增长来源,两者需要结合。
bash
# Bash / Linux;只读,替换为目标 PID。
set -o pipefail
pid=12345
if ! ps -p "$pid" -o pid,lstart,args; then
printf '目标不存在或不可见\n' >&2
exit 1
fi
if ! grep 'Max open files' "/proc/$pid/limits"; then
printf '限制信息不可读,停止采集\n' >&2
exit 1
fi
# 只数自己的目标,不遍历全机。目录读取仍可能与并发打开关闭竞争。
for sample in 1 2 3; do
date -u '+%Y-%m-%dT%H:%M:%SZ'
if ! find "/proc/$pid/fd" -mindepth 1 -maxdepth 1 -printf '%f\n' | wc -l; then
printf 'FD 采集失败,计数不可当完整结果\n' >&2
exit 1
fi
if [ "$sample" -lt 3 ]; then sleep 2; fi
done
# 系统计账有三个字段,不是“已用/总量”的两个字段。
cat /proc/sys/fs/file-nr
cat /proc/sys/fs/file-max
cat /proc/sys/fs/nr_open
# procps:等待位置只是线索,不等于完整持有链。
ps -L -p "$pid" -o pid,tid,stat,wchan:32,comm现代 Linux 的 file-nr 报告已分配文件对象、未使用已分配对象和最大值,第二项通常为零;老版本口径有差异。不要把第二项当系统剩余 FD,也不要把三个值直接相加。
FD 很多时,扫描描述符目录也有成本,生产趋势优先使用已有采集器。记录 PID 和启动时间,以区分同一编号对应的不同进程。示例的 pipefail 让管道中 find 的失败能够被发现,避免只因 wc 成功就接受计数;但进程可能在扫描期间打开或关闭 FD,所以结果仍不是同一瞬间的精确快照。采集间还要核对启动时间,避免把 PID 重用后的两个进程当作同一条趋势。
最后一条命令中的 tid 是线程编号,stat 是状态,wchan 是内核等待位置。它们可以提示线程停在哪里,但不能直接告诉你资源由谁持有。若 FD 随流量升高后回落,可能属于正常占用;若流量回落后仍持续增长,则应继续追查资源类型和释放路径,不能仅凭一次高计数认定泄漏。
3.1 找类型,而不是导出所有路径
lsof 用于查看进程持有的打开对象。在批准范围内可对单个 PID 使用 lsof -nP -p PID,查看普通文件、管道、socket、匿名内核对象等分类;大进程要限定采集时长和结果存储规模,权限不足时明确记录缺口。lsof 同时可能显示映射等非数字 FD 行,不能把总行数当 FD 数。
有限抽查 /proc/PID/fd/N 的符号链接及 /proc/PID/fdinfo/N 中的描述符信息,能帮助确认对象类型和标志。但条目可在读取过程中变化,编号也会重用。外发路径、端点和命令行前要脱敏。
CLOSE_WAIT 是 TCP 关闭过程中的状态,常提示对端已结束输入,而本地关闭尚未完成。若这类连接持续积累,应追查应用是否完成响应处理与关闭。TIME_WAIT 则可以在应用 FD 已关闭后由内核继续维护,因此数量多不能直接证明 FD 泄漏。协议细节见 TCP 挥手与状态,池资源边界见 连接池与系统资源。
4. 最小练习:多了八个 FD,却不是多开八份文件
保存为 fd_ownership.py,运行 python3 fd_ownership.py。此例使用常见 Python 平台支持的低层文件接口,但不验证 Linux 限额故障;只演示描述符复制、共享偏移与所有权。这里的所有权指“谁负责最终释放资源”。ExitStack 是上下文管理工具,可以登记清理回调,并在离开作用域时逆序执行。
python
# Python 3;一个临时文件,最多八个额外 FD;不修改 ulimit。
import os
import tempfile
from contextlib import ExitStack
from pathlib import Path
with tempfile.TemporaryDirectory(prefix="fd-owner-demo-") as directory:
target = Path(directory) / "tiny.bin"
target.write_bytes(b"abcdef")
with target.open("rb", buffering=0) as original:
with ExitStack() as cleanup:
duplicates = []
for _ in range(8):
copied = os.dup(original.fileno())
# 创建成功后立即登记关闭责任,后续失败也会逆序清理。
cleanup.callback(os.close, copied)
duplicates.append(copied)
assert len(set(duplicates)) == 8
print("新增的复制入口:", len(duplicates))
print("当前共享偏移:", os.lseek(duplicates[0], 0, os.SEEK_CUR))
assert os.read(duplicates[0], 2) == b"ab"
# 两个入口共享偏移,下一次读取从 c 开始。
assert os.read(duplicates[1], 2) == b"cd"
assert os.lseek(original.fileno(), 0, os.SEEK_CUR) == 4
# ExitStack 已关闭复制入口,原入口仍由外层文件对象负责。
assert original.read(2) == b"ef"
assert original.closed
assert not Path(directory).exists()
print("资源按所有权范围完成清理")预期输出与检查结果:新增八个不同入口,初始共享偏移为 0;前两个复制入口先后读到 ab 和 cd,原入口随后读到 ef。复制入口由 ExitStack 关闭,原入口由外层文件对象关闭,临时目录最后被删除。
buffering=0 使这个练习直接观察底层读取位置,避免文件对象预读缓冲干扰理解。不要用已关闭 FD 的整数再试写来“确认关闭”:它可能已被其他线程复用;测试应验证自己负责的生命周期,而非将旧编号当永久身份。
每个复制入口都有独立的关闭责任。关闭其中一个入口不会自动关闭其他入口;共享打开状态的生命周期取决于全部引用是否释放。
5. 服务卡死:先画等待链,再判断是不是死锁
线程等待资源时,应继续问:资源由谁持有,持有者在等什么,又需要什么条件才能继续?把这些关系连起来,就是 Wait-for graph(等待关系图)。Deadlock(死锁)指相关参与者因循环依赖等条件无法继续推进;长时间持有、下游迟迟不返回、可用 CPU 时间不足或唤醒事件漏发,也可能让服务看起来卡住,却不一定构成死锁。
图表将在阅读到此处时加载…
在这个示例中,C 等待下游响应时仍持有业务锁,B 无法取得锁,也无法完成工作并归还池资源,A 因而无法借用。这解释了末端的一次慢调用如何逐级阻塞上游请求;等待期间线程很少执行计算,CPU 使用率也可能很低。
这条链没有画出回到 A、B 或 C 的环,不能据此宣布死锁。若 C 等待的是 A 持有的资源,才形成候选环,还需核对资源语义,以及超时、取消是否真的能打破依赖。
表中的 WAITING 是 Java 线程状态;S 是 Linux 的可中断睡眠状态,D 是不可中断睡眠状态。它们来自不同观察层,不能直接互相等同。“就绪”表示线程具备运行条件,但仍需调度器分配 CPU 时间。
| 现象 | 下一份证据 | 不能直接定性 |
|---|---|---|
| 线程 WAITING/S | 等待点、唤醒条件和持有者 | 等待状态就等于死锁 |
| 同一锁很多等待者 | 持有持续时间、持有者调用栈与外部阶段 | 锁实现有 bug |
| 池 pending 上升 | 已借用者、占用期、取消和归还协议 | 只需把池扩容 |
| 长时间 D | 内核等待路径、存储/回收证据 | kill 一定立即释放资源 |
| 大量就绪线程 | CPU、亲和性和祖先配额 | 有可见空闲核就一定能执行 |
表中的 CPU 亲和性指线程允许运行在哪些 CPU 上;祖先配额指上级资源控制组对可用 CPU 时间施加的限制。因此,主机存在空闲核也不能证明目标线程能立即运行。
在有限窗口内连续采集线程栈,有助于区分瞬时等待和持续停滞,但也可能漏掉短事件。Java 平台线程可关联 OS TID 与线程栈中的 nid(本地线程标识);虚拟线程由运行时调度,不能长期与 OS 线程一一绑定。详细取证见 JVM 排障工具和 Java 锁竞争与长尾。
6. 所有权账本:正常、异常、取消都必须走通
所有权账本不只是列出“哪里调用了 close”,而是为每次创建、借用和移交确定释放责任。资源创建成功后若尚未登记清理就发生异常,可能留下无人负责的资源;异步移交若失败,也不能假定接收方已经接管。
| 动作 | 谁获得责任 | 必须检查的失败分支 |
|---|---|---|
| open/socket/dup 成功 | 当前调用者或明确接管者 | 注册到管理容器前发生异常 |
| 从池借用成功 | 借用范围内的业务代码 | 超时、解码失败、调用取消 |
| 向异步任务移交 | 接收方按协议接管 | 提交失败或任务尚未开始就取消 |
| 归还池资源 | 池接管后续复用/淘汰 | 协议状态不完整,不能安全复用 |
| 关闭底层对象 | 相应底层拥有者 | 重复关闭、其他线程仍在使用 |
归还池不等于关闭 socket;关闭 socket 也不保证远端事务回滚。流式响应、部分消息、超时后连接是否可复用要看协议与客户端实现,不能“finally 中什么都 close 一遍”而破坏共享资源。
Linux close 的一个重要边界:错误返回并不意味着 FD 仍可安全重试。内核可能已提前释放编号,重试可能关闭其他线程新获得的同号 FD。也不要指望另一线程 close 就可靠中断正在进行的所有 I/O;应按协议设计取消、deadline(整条调用链的完成期限)与所有权转移。
同步资源常用作用域管理,例如练习中的 with:离开作用域时执行清理。异步任务可能在请求函数返回后继续使用资源,因此要明确“谁接管、何时完成、失败如何清理”,不能仅在请求函数返回时关闭。取消通知也不等于任务已经结束,应确认持有者退出并完成释放。跨专题应用见 线程池任务堆积与超时。
7. 有界止损与复测
- 先保留故障证据:原始错误、PID 与启动时间、限额、资源分类和等待链。附加诊断也可能需要 FD,耗尽后不保证能成功生成诊断转储(dump)。
- 降低新增工作:在入口或具体资源借用处限制并发,避免无界重试继续消耗 FD、线程和内存;同时记录拒绝率与最终失败。
- 有证据才调额度:确认合法峰值与系统预算后有限提高进程限制;若资源持续泄漏,额度只是延后下一次失败。
- 按所有权释放:通过应用支持的取消、归还、关闭或重开流程;不要批量关闭未知 FD,也不要不分范围杀掉持有者。
- 验证完整生命周期:相似流量下 FD 和借用量稳定,创建/关闭及借用/归还差值有界,异常、取消和重试后同样恢复。
等待问题还要测量资源持有时间、已排队任务的等待时长、超时情况与业务正确性。把 I/O 移到锁外可能缩短等待,但其他线程也可能在 I/O 完成前访问共享状态,所以必须重新证明数据一致性;提高限额和加线程都不能取代这个证明。
8. 容易踩的坑、名词解释与依据
排查结论可以用四个问题检查:错误码是否对应目标进程的实际限制?数量增长是否能关联到具体资源和释放周期?等待链是否追到了持有者及其推进条件?异常和取消后,资源是否回到稳定范围?这些证据缺失时,单次 FD 高值、TCP 状态数量或一张等待栈都不足以确定根因。
尤其不要仅因 TIME_WAIT 多就调整内核复用参数:先区分失败发生在 FD 分配、本地端口、池借用还是下游调用。调整 ulimit 后也要核对实际 PID 的限制,以及下一次服务启动时的继承结果。
后续 长尾故障案例把限额、等待与 CPU/存储证据放到一条时间线;实验可信性帮助设计有限资源和清理断言。
| 名词 | 回查解释 |
|---|---|
| FD / Open File Description | 整数入口 / 共享的内核打开状态 |
| Soft / Hard limit | 当前资源限制 / 调整相应限制时的上界之一 |
| EMFILE / ENFILE | 进程描述符分配限制类错误 / 系统文件资源限制类错误 |
| Ownership | 对资源接管、移交与释放的责任归属 |
| Wait-for graph | 等待者、资源与持有者构成的关系图 |
| Deadlock / Long hold | 无法推进的依赖死锁 / 仍可能完成但持有过久 |
依据:getrlimit、proc_sys_fs、close、Python os.dup 与低层 FD。限制、默认值和错误的具体触发条件以目标内核、运行时和配置核验。
9. 一句话总结与三个要点
资源耗尽要找分配与释放的责任,服务卡住要找等待链的末端;加额度或重启只是有条件的止损,不是生命周期修复。
- FD 数、内核打开对象、池资源和连接状态不同,限额以目标进程为准。
- 每次创建和借用都要覆盖成功、异常、取消及异步移交的释放责任。
- 卡住先追持有者与推进条件,修复后验证资源有界、长尾和业务正确。