外观
13 - 阻塞、非阻塞和异步有什么区别:I/O 模型、epoll 与事件循环
摘要
连接显示可读,一次 recv 为什么拿不到完整请求?可写事件很多,CPU 为什么却空转?关键在于分清三件事:资源是否可以尝试读写、本次调用推进了多少字节、应用消息是否完整。本文从阻塞与非阻塞讲起,再解释 epoll 的就绪通知、触发模式和事件循环,最后用一个有时间与长度上限的示例串起这些机制。
阅读指引
- 前置阅读:文件描述符、调度与等待,理解资源入口以及唤醒后重新执行。
- 本文定位:OS I/O 接口语义、Linux epoll 与最小事件状态机;完整 Java Reactor、Buffer 管理和多连接工程实现见 网络专题,不在本篇重复大型服务器。
- 适用范围:epoll 是 Linux 接口;Python 3.8+ 示例默认使用平台可用的 selectors 实现,不保证 Windows 或 macOS 使用 epoll。可选
--epoll明确要求 Linux 提供 EpollSelector。 - 验证边界:使用一个本地 socketpair、一个有限长度消息和 5 秒循环预算,不开公网监听、不依赖压测或 root。默认示例验收协议与就绪逻辑,不证明 Linux 内核事件次数或多连接吞吐。
1. 场景:有事件却没有进展,线程少也照样卡住
事件循环(Event Loop)反复执行“等待事件 → 处理事件 → 保存进度 → 再次等待”。它让一个线程轮流处理多个连接,而不必为每个等待数据的连接占用一个线程。
假设循环接到可读通知,便执行“读满请求长度”的阻塞函数。客户端只发送半条消息后暂时停止,这个函数就会等待剩余数据。循环线程无法返回去处理其他事件,其他连接也随之停滞。这里的帧是应用协议定义的一条消息;只收到其中一部分,称为半帧。
另一个服务即使没有待发送数据,也一直关注可写事件。socket(套接字)是应用读写网络连接的接口对象;只要它仍满足可写条件,在水平触发模式下循环就可能反复收到通知。程序不断处理通知却没有数据可发,形成忙循环,消耗 CPU。
两者都误把“可以尝试一次读写”当成“整个业务操作已完成”。正确模型是:事件提醒检查资源状态,读写返回值决定推进多少,协议状态决定消息是否完整。
2. 基础模型:等待条件、发起操作、取得结果
I/O(Input/Output,输入输出)是与文件、网络、设备等对象交换数据。以接收网络数据为例,先要等连接具备读取条件,再调用读取接口取得字节,最后按协议判断消息是否完整。阻塞、非阻塞和异步接口的区别,主要在于调用线程在哪一步等待,以及谁负责推进操作。
阻塞读取可以在数据不足时让当前线程等待;非阻塞读取在当前不能推进时返回,让线程继续做其他工作。如果只是不断重试非阻塞读取,仍会空耗 CPU。I/O 多路复用把等待集中到一个接口:等待多个连接的就绪状态,收到通知后再分别尝试读写。因此,多路复用的等待接口本身可以阻塞,这与连接使用非阻塞读写并不矛盾。
| 模型 | 调用线程怎样等待 | 谁推进读写 | 返回或通知说明什么 |
|---|---|---|---|
| 阻塞 I/O | 调用可以等待所需条件满足 | 当前读写调用及底层实现 | 本次读写结果,不自动等于完整业务消息 |
| 非阻塞 I/O | 当前不能推进时返回 | 应用稍后再次调用读写 | 已处理的字节数,或当前不能推进等状态 |
| I/O 多路复用 | 在等待接口中等多个资源就绪 | 应用收到就绪后调用读写 | 可以尝试操作,数据仍需由读写接口取得或交付 |
| 异步完成接口 | 提交与取得结果分离 | 系统或对应运行时推进提交操作 | 相应操作的完成结果,仍需处理长度、错误与生命周期 |
就绪(Readiness)通知的是资源状态,例如连接可以尝试读取;完成(Completion)通知的是某个已提交操作的结果,例如一次读取取得了多少字节。Reactor 是围绕就绪通知、由应用调用读写的组织模式;Proactor 则围绕异步操作的完成结果组织处理。实际框架可以组合多层机制,不能只凭函数名字或一个 Future 判断底层 I/O 模型。
2.1 非阻塞不是“所有函数立即完成且零成本”
O_NONBLOCK 是设置非阻塞行为的标志,socket API 也提供设置非阻塞模式的方法。它们改变支持该模式的操作在条件不足时如何返回,不消除系统调用、数据复制、锁、内存分配和调度成本,也不是为任意文件或设备开启统一异步模式。
普通文件读写不能直接套用 socket 的就绪语义。Linux 的 O_NONBLOCK 对普通文件并不承诺“磁盘数据尚未准备好就返回 EAGAIN(当前不能推进)”;epoll 注册普通文件等不支持关注的对象时,也可能失败。普通文件 I/O 应结合 块层分析。
2.2 把阻塞函数放入线程池是什么异步
Future 表示一个稍后才能取得的任务结果。把读取任务提交到线程池后,调用方可以先做其他工作,因此属于异步编程;但执行任务的工作线程仍可能阻塞在 read 上。等待并没有消失,而是转移到了工作线程,所以仍需限制线程数、任务队列,并设计关闭与取消规则。
Java NIO、Python asyncio、Linux 异步接口和不同平台的完成端口各有抽象边界,不把“async”关键词等同于某一种内核机制。io_uring 等提交/完成框架也有不同操作和配置路径,不能泛称所有操作都零拷贝、零阻塞。
3. 读写返回值速查:数据流不是消息队列
TCP 以有序字节流交付数据,不保留应用每次 send 的消息边界。一次 send 的数据可以由多次 recv 读取,多次 send 的数据也可以由一次 recv 读到。应用因此需要自己的定界规则,例如先读长度头,再按长度累积消息体;就绪通知无法替协议完成这一步。
| 操作结果 | Linux 原生常见含义 | Python socket 中常见表示 | 应用下一步 |
|---|---|---|---|
| 读到正数字节 | 本次取得这些字节 | 非空 bytes | 累积、解析完整消息并保留半帧 |
| 流式读取返回零,且请求缓冲非零 | 相应输入方向结束 | recv(nonzero) 返回 b'' | 处理 EOF,不能继续忙读等待数据 |
| 当前不能读/写 | EAGAIN 或 EWOULDBLOCK | 通常为 BlockingIOError | 保存状态,返回循环等待就绪 |
| 写入正数字节 | 本次只交付这些字节 | send 返回正数 | 移动偏移,剩余内容继续等待发送 |
| 操作错误 | 按 errno 与对象解释 | OSError 等 | 记录原因并按连接所有权清理 |
EOF,即 End of File,在流式连接中表示相应读取方向结束,不自动等于应用协议成功。若还残留半个长度头或消息体,应判为协议未完成。
UDP 可有零长度数据报,不能把它按 TCP EOF 规则处理;recv(0) 也不用于检测正常 EOF。本文示例只处理正长度缓冲读取的 stream socket。
3.1 可写不等于对端已经收到
send 成功通常意味着相应字节交付给本地发送路径,不是对端业务已处理,也不等于消息持久化。需要业务确认时设计应用层响应、超时和重复处理规则。
同理,可读也可能伴随 EOF、错误或状态变化;通知后其他参与者可能已经消耗数据。因此就绪后仍应使用正确非阻塞调用,并按结果推进。
消息定界的完整设计继续读 TCP 粘包拆包与协议设计,不要用“每次 recv 到一条请求”设计服务器。
3.2 select、poll 与 epoll:共同点是就绪,不是完成
| 接口 | 描述关注对象的方式 | 基础取舍 |
|---|---|---|
| select | 使用描述符集合,返回时集合被修改 | 调用循环需重建集合;Linux 常用 fd_set 有 FD_SETSIZE 边界 |
| poll | 每次提交描述符及关注事件数组 | 避免 select 的同类位集合限制,但传递与遍历数组仍有成本 |
| epoll | 实例保留关注,通过 ctl 更新,再取得就绪批次 | Linux 专属,注册和返回事件仍有成本,且不是所有对象都可注册 |
Linux 常见 C 库的 select 以 FD_SETSIZE=1024 限制可表示的描述符编号,这不是 Linux 进程通用 FD 上限;提高 ulimit 不能直接让相同 fd_set 支持更高编号。Python selectors 根据平台选择后端,接口能力不能从类名 DefaultSelector 推测。
三者都不代替非阻塞读写、帧解析、关闭和背压。连接规模大时,epoll 可以减少部分重复提交和扫描成本,但实际收益还取决于活跃连接、事件数、业务处理和资源预算。依据:select(2)、poll(2)、epoll(7)。
4. epoll:关注集合与就绪集合分别做什么
epoll 是 Linux 提供的 I/O 就绪通知机制。应用用文件描述符(FD,一个进程用于访问已打开对象的整数标识)指定关注对象,再指定可读、可写等关注事件。关注集合(Interest List)保存这些注册信息;就绪集合(Ready List)组织满足通知条件的条目。前者回答“正在等什么”,后者回答“哪些对象现在需要处理”。
| 接口 | 主要职责 | 不能代替什么 |
|---|---|---|
epoll_create1 | 建立 epoll 实例及相关资源 | 不自动关注全部进程 FD |
epoll_ctl | 添加、修改、删除关注对象与事件 | 不执行业务 read/write |
epoll_wait | 等待并取得一批适用事件 | 不保证每个事件是一条完整请求 |
图表将在阅读到此处时加载…
epoll 可减少某些反复传递与扫描全体描述符的成本,但“epoll 永远 O(1)”是过度简化。注册、事件数量、唤醒、数据复制与业务处理都有成本,不应凭它推导无限连接容量。
dup 可以让不同 FD 引用同一打开文件描述,也就是共享同一底层打开状态。此时,关闭一个 FD 不能简单理解为相关 epoll 关注都已撤销。工程上应先注销自己管理的关注,再关闭对象;关闭后的 FD 数字可能被新连接复用,旧任务也不能仅凭整数相同就把结果写给新连接。
5. LT、ET、ONESHOT:通知策略改变了什么
| 模式 | 核心直觉 | 应用责任 |
|---|---|---|
| LT,Level-Triggered,水平触发 | 条件持续满足时仍可再次得到通知,是 epoll 的默认模式 | 限制每次处理量,按读写结果和待处理数据更新关注 |
| ET,Edge-Triggered,边缘触发 | 围绕适用状态变化通知,不能依赖 LT 式反复提醒 | 非阻塞,通常处理到 EAGAIN;提前停下要有继续推进机制 |
| EPOLLONESHOT | 一次通知后相应关注被禁用,需重新设置才继续 | 明确由谁处理连接、何时重新启用关注,以及怎样保存未完成状态 |
5.1 ET 为什么通常要求读到 EAGAIN
如果就绪事件后只读掉部分数据,然后再次等待新的边缘通知,剩余数据可能已经可读,却没有你期待的新状态变化,任务便停滞。
典型 ET 规则是使用非阻塞 FD,把本次可推进数据处理到 EAGAIN,再等待。不是让阻塞 read 无限读到“没有数据”,也不是允许单个连接永久占据循环。
处理到当前不能继续读写,常称为 drain。公平性要求避免一个繁忙连接长期占用循环;背压则是在消费能力不足时限制继续接收或生产数据。这两种要求可能迫使应用提前停止读取。此时可把尚未处理完的连接放入应用维护的就绪队列,安排后续处理;暂停读取时还要明确恢复读取或重新启用关注的条件。否则,只等下一次边缘通知可能让已有数据一直无人处理。
5.2 为什么空写队列要取消可写关注
可写条件取决于 socket 的发送状态,不取决于应用是否还有响应要发送。因此,空写队列不会让 socket 自动变为不可写;在 LT 模式下继续关注可写,可能反复得到无事可做的通知。
写队列应驱动关注状态:响应入队后关注可写;send 只发送部分数据时保存已发送偏移;遇到 EAGAIN 时保留剩余数据并等待;队列清空后取消可写关注。短写指一次调用发送的字节数少于请求发送的字节数。无论选择 LT 还是 ET,都要保存这些进度。
6. 可运行实战:有限长度帧、部分写、分段读与 EOF
以下示例使用 Python 3.8+ 和标准库,保存为 readiness_frame_demo.py,运行 python3 readiness_frame_demo.py。帧由 4 字节长度头和消息体组成:长度头使用大端顺序,即高位字节在前,表示消息体的字节数;消息体最多 64 字节。程序每次 send 最多请求发送 3 字节,每次 recv 最多读取 5 字节,让一帧必须跨多次调用处理。
socketpair 创建一对相互连接的本地 socket,因此不需要监听端口或服务器线程。selectors 是 Python 封装平台就绪接口的标准库;不同平台的后端不同,程序会打印所用类。本例使用 LT 式就绪语义,不演示 ET 下处理到 EAGAIN 的循环。
读代码时关注三个状态:sent 保存发送偏移,incoming 保存尚未解析完的字节,messages 保存完整消息。发送完后注销可写关注,并用 shutdown(SHUT_WR) 只关闭发送方向;接收端继续读取,直到收到 EOF,再检查消息是否完整。总循环预算为 5 秒,每次等待最多 0.2 秒,并受剩余预算约束。
python
import argparse
import selectors
import socket
import struct
import time
MAX_BODY = 64
def run_demo(truncated=False, use_epoll=False):
if use_epoll and not hasattr(selectors, "EpollSelector"):
raise RuntimeError("此平台没有 EpollSelector,不能声称验证 Linux epoll")
factory = selectors.EpollSelector if use_epoll else selectors.DefaultSelector
body = b"hello readiness"
frame = struct.pack("!I", len(body)) + body
wire = frame[:-1] if truncated else frame
incoming = bytearray()
messages = []
sent = 0
finished = False
deadline = time.monotonic() + 5
sender, receiver = socket.socketpair()
try:
sender.setblocking(False)
receiver.setblocking(False)
with factory() as selector:
print("selector:", type(selector).__name__)
selector.register(sender, selectors.EVENT_WRITE, "send")
selector.register(receiver, selectors.EVENT_READ, "receive")
while not finished:
remaining = deadline - time.monotonic()
if remaining <= 0:
raise TimeoutError("事件循环超过总预算")
for key, events in selector.select(timeout=min(0.2, remaining)):
if key.data == "send" and events & selectors.EVENT_WRITE:
try:
written = sender.send(wire[sent:sent + 3])
except BlockingIOError:
continue # 当前不能推进,保留发送偏移等待下次就绪。
if written <= 0:
raise ConnectionError("非空发送未推进")
sent += written
if sent == len(wire):
selector.unregister(sender) # 无待写数据,不继续关注可写。
sender.shutdown(socket.SHUT_WR) # 只结束发送方向。
if key.data == "receive" and events & selectors.EVENT_READ:
try:
chunk = receiver.recv(5)
except BlockingIOError:
continue
if not chunk:
selector.unregister(receiver)
if incoming:
raise ValueError("EOF 时仍有半帧")
if messages != [body]:
raise ValueError("消息未完整交付")
finished = True
continue
incoming.extend(chunk)
while len(incoming) >= 4:
length = struct.unpack("!I", incoming[:4])[0]
if length > MAX_BODY:
raise ValueError("消息体超过协议上限")
if len(incoming) < 4 + length:
break # 保留长度头和已到达的半个消息体。
messages.append(bytes(incoming[4:4 + length]))
del incoming[:4 + length]
assert sent == len(wire)
assert messages == [body]
print("frame, partial I/O and EOF verified")
finally:
sender.close()
receiver.close() # 只关闭本例持有的连接;selector 也由上下文关闭。
def main():
parser = argparse.ArgumentParser()
parser.add_argument("--truncate", action="store_true")
parser.add_argument("--epoll", action="store_true")
args = parser.parse_args()
run_demo(args.truncate, args.epoll)
if __name__ == "__main__":
main()bash
# 常见平台:正常帧应验收成功,实际后端由程序打印。
python3 readiness_frame_demo.py
# 反例验证:少发送最后一个字节,EOF 时应报半帧错误并退出非零。
python3 readiness_frame_demo.py --truncate
# 仅提供 EpollSelector 的 Linux:明确选择 epoll,仍是 LT 式示例。
python3 readiness_frame_demo.py --epoll预期结果:正常模式先打印 selector 类名,完成消息与 EOF 检查后打印 frame, partial I/O and EOF verified;--truncate 模式少发送最后一个字节,应在 EOF 检查时抛出 ValueError("EOF 时仍有半帧") 并以非零状态退出。EOF 只说明输入结束,只有协议检查通过才表示这条消息成功交付。
这里主动缩小每次请求发送的片段,展示的是一帧跨多次调用完成;不保证操作系统每次都会返回少于请求长度的短写。代码仍按 send 的实际返回值更新偏移,以处理这种情况。
本例每次事件只处理有限字节,LT 可继续通知尚未消费的就绪状态。改用 ET 时,还需要设计继续推进的路径。示例只有一个有界帧,不覆盖恶意无限流;真实服务器还要限制累计输入、待发送数据、连接数和全局内存。
7. 事件循环工程:背压、公平性和关闭
事件循环能轮流处理连接的前提是,每次处理都能及时返回。耗时计算、阻塞的外部调用或对单个连接的无限处理,都会推迟其他连接。因此,少量线程管理连接,还必须配合每轮处理预算与业务任务安排。
背压(Backpressure)把下游的消费限制传回上游。例如,客户端接收响应很慢,应用输出队列便可能增长;若服务仍不断读取新请求、生成更多响应,积压只是从 socket 转移到应用内存。应在队列达到预算时暂停读取、拒绝新工作或关闭连接,并规定何时恢复。
关闭也需要保存状态。TCP 的输入和输出方向可以分别结束,这称为半关闭;收到 EOF 后,是否继续发送待写响应,取决于协议。业务任务交给线程池后,还要记录任务属于哪个连接,防止结果返回时连接已经关闭或被替换。
| 状态 | 必须保存什么 | 应怎样推进 |
|---|---|---|
| 半个输入帧 | 已收字节、长度解析状态与上限 | 等后续字节,期限到或 EOF 时按协议失败 |
| 输出未发送完 | 数据所有权、偏移和待写字节量 | 关注可写,短写后保留进度 |
| 输出超过预算 | 单连接与全局队列量 | 暂停读取、拒绝或关闭,明确恢复条件 |
| 业务工作很慢 | 任务与连接关联、取消与超时 | 按预算卸载,防止回调回写已关闭对象 |
| 输入方向结束 | EOF、未完成帧和待写响应 | 区分半关闭,按协议排空或终止 |
业务卸载到线程池也有队列和资源成本;不能无限提交 Future,把事件循环的等待转移成更大积压。回到 线程池容量设计和 关闭协议明确任务所有权。
8. 排障:事件多、CPU 高或连接停滞怎样查
| 现象 | 优先核对 | 不足以成立的结论 |
|---|---|---|
| 大量可写事件、无数据发送 | 空队列是否仍注册可写 | epoll 内核一定有 bug |
| 收到一部分数据后不再前进 | ET 是否处理到适用边界,半帧与恢复条件 | TCP 必然丢了剩余字节 |
| 所有连接一起卡住 | 循环中阻塞调用、长计算、停顿与配额 | 连接数少就不会事件循环瓶颈 |
| 待处理任务或待写数据持续增长 | 慢对端、无输出预算、线程池积压 | 只要增大 socket buffer 就安全 |
| EOF 后 CPU 空转 | 是否取消关注、停止读取并清理 | 返回空字节表示暂时没数据 |
| 关闭后回调作用于新连接 | FD/对象复用、任务身份与所有权 | 整数 FD 一样就是原连接 |
可先记录有限指标:循环进展、就绪批次数、读写字节、EAGAIN、输入/输出剩余、最老排队时间及关闭原因。事件次数多不代表消息处理多;只见 epoll_wait 等待也不说明应用死锁。
在 Linux 现场,可检查已确认进程标识(PID)对应的 FD,用 ss 查看连接队列,并多次采集线程栈,判断循环是否停在同一调用。这些观察都受权限、采样时刻和范围限制。完整 Java Reactor 的可运行验证和资源预算继续读 网络 16,TCP 半关闭和状态见 网络 08。
9. 容易踩的坑与工程取舍
选择触发模式前,先保证帧解析、发送偏移、EOF 处理和关注管理正确。LT 允许按预算处理一部分后等待再次通知;ET 则要求应用对尚未完成的工作安排后续推进。切换标志并不会自动解决公平性或背压问题。
事件驱动节省的是部分等待线程,不是连接的全部成本。每条连接仍占用 FD、缓冲和管理状态,业务任务也需要 CPU 与队列空间。容量设计要同时限制连接数、输入输出字节量和任务数量,而不是只统计线程数。
需要业务成功保证时,还要在 I/O 之外定义确认与重试规则。发送成功但没有收到响应,可能意味着请求未被处理,也可能是已处理而响应丢失。幂等设计要保证重复请求不会重复产生不应重复的业务效果,不能仅靠重发字节解决。
10. 名词解释与延伸阅读
| 名词 | 简短解释 |
|---|---|
| Blocking / Nonblocking | 按适用条件等待的调用方式 / 当前不能推进时及时返回的方式 |
| Readiness / Completion | 值得尝试操作的状态 / 已提交操作的结果 |
| Reactor / Proactor | 围绕就绪由应用推进 / 围绕完成结果组织的模式 |
| epoll / Interest / Ready | Linux 就绪接口 / 关注对象集合 / 适用就绪条目集合 |
| select / poll / FD_SETSIZE | 用描述符集合或条目数组等待就绪的接口 / C 库 select 位集合的容量,不是进程 FD 总限额 |
| LT / ET / ONESHOT | 水平触发 / 边缘触发 / 一次通知后需重新设置的关注方式 |
| EAGAIN / EOF / Partial I/O | 当前不能推进 / 输入方向结束 / 一次只完成部分交付 |
| Event Loop / Backpressure | 等事件并推进状态的循环 / 按消费与资源能力限制生产的协议 |
- 前置解释:FD 与对象身份、调度,说明关注和唤醒的对象;块 I/O对照普通文件路径。
- 跨专题应用:消息定界、完整 Reactor,分别展开协议与多连接实现。
- 限额对照:描述符限额与等待链,区分进程打开上限、FD 编号和
select集合可表达的范围,避免只调ulimit。 - 自然后续:内核网络路径与 socket 队列解释数据到达与应用唤醒;namespace解释观察视图;cgroup解释资源预算。不把 socketpair 实验当网卡路径测量。
- 依据:Linux man-pages
epoll(7)、epoll_ctl(2)、recv(2)、send(2)、open(2);Pythonselectors、socket文档。不同语言的零返回、异常与原生 errno 需分别按接口解释。
11. 一句话总结与三个要点
就绪提醒尝试,返回值决定进度,协议状态与预算决定能否继续;epoll 不能替代这三层责任。
- 阻塞、非阻塞、就绪通知与完成通知是不同模型,异步编程不自动等于内核异步 I/O。
- 读写可以分段,EOF 与 EAGAIN 不同;LT/ET 需要匹配正确的继续推进与关注管理。
- 事件循环要有输入、输出、任务和时间预算,处理公平性、背压与关闭,不只追求线程少。