外观
16 - I/O 多路复用与 Reactor
前置阅读:02 - 分层与Socket字节、09 - 消息定界。关闭语义见08。实验方法见A。
Java 示例基线为 17。Selector 是 Java 的 I/O 就绪选择器,底层实现随平台而异,不承诺每个平台都使用 epoll,也不直接暴露 epoll 的边沿触发(ET)开关。功能验证与连接容量、吞吐量测试是不同任务。
摘要
服务器的连接可以一直存在,却不一直有数据可读。I/O 多路复用让线程集中等待多个连接的就绪通知;Reactor 则围绕通知组织事件循环,逐个推进连接。线程不必停在某个空闲连接上,但必须保存每个连接尚未完成的读写状态。本文先解释这个模型,再用长度帧 Echo 服务(将收到的消息原样返回)说明半帧、部分写、关闭和资源上限。
1. 现象:连接建立正常,超过4KB之后服务不再推进
假设每个连接分配一个 4096 字节的 ByteBuffer(字节缓冲区),反复调用 read(buffer),却不消费其中的数据,也不整理剩余空间。随着数据写入,表示当前位置的 position 最终到达操作边界 limit,缓冲区便装不下新数据。即使 Socket(网络套接字)可读,read 也可能因目标缓冲区没有空间而返回 0。再次收到就绪通知不会制造空间,于是事件循环可能反复处理这个连接,却没有任何进展。
在这个场景中,停滞来自应用缓冲区的管理方式,调高文件描述符(fd,操作系统标识打开资源的整数)上限无法解决。排查时应同时记录读取返回值、Buffer 的 position/limit、尚未解码的字节数和事件循环的执行频率,确认数据卡在哪一步。
2. 原理:就绪不是完成
阻塞读取会让当前线程等待数据。如果一个平台线程负责多个连接,却阻塞在其中一个空闲连接上,其他连接即使已有数据,也无法由它及时处理。非阻塞读取可以立即返回,但不停地检查所有连接又会浪费 CPU。
I/O 多路复用解决的是集中等待的问题:应用把关注的连接和事件注册给选择器,等待一批就绪通知,再尝试对应的操作。Reactor 是在此基础上的程序组织方式:事件循环(EventLoop)等待通知、分派读写处理、保存状态,然后继续等待。它节省的是空闲等待所占用的线程,不会替应用完成协议解析或业务计算。
在 Java 中,SocketChannel 是用于读写网络连接的通道;SelectionKey 表示通道在 Selector 上的注册关系。interestOps 指定关注的事件,例如 OP_READ 表示可读、OP_WRITE 表示可写。处理完选中的 key 后,还需从 selectedKeys 集合移除,避免把已处理的记录留到下一轮。
| 模型 | 等待方式 | 主要代价/边界 |
|---|---|---|
| 阻塞I/O | 当前线程等读写 | 调用直观,平台线程栈和调度有成本 |
| 非阻塞I/O | 操作可返回0 | 自己全量轮询会浪费CPU |
| select/poll | 等待描述符集合 | 集合表示、扫描与拷贝成本依实现 |
| epoll | Linux维护关注集合并返回事件 | 不消除就绪事件处理、数据复制和业务计算 |
| kqueue/IOCP | 平台事件/完成机制 | IOCP偏完成通知,不应与Reactor就绪语义直接等同 |
select、poll 和 epoll 是操作系统提供的 I/O 等待接口;kqueue 是 BSD 等系统的事件接口,IOCP 是 Windows 的 I/O 完成端口。完成通知报告已提交操作的完成情况,与“现在可以尝试读写”的就绪通知不同。
就绪通知表示此刻值得尝试操作,不表示操作已经完成。可读不能保证收到完整的一帧(应用协议定义的一条消息),也可能是在提示输入结束;可写不保证整个响应都能一次写入。因此,读取后只解析已完整的消息,写入后只推进实际写出的字节。暂时没有进展时保存状态并返回事件循环,不能在 EventLoop 中用阻塞 readFully 等齐消息,否则一个慢连接会拖住其他连接。
理解就绪与完成的区别后,再看 Linux 原生 epoll 的触发方式。水平触发(Level-Triggered,LT)会在就绪条件持续时继续通知;边沿触发(Edge-Triggered,ET)主要通知就绪状态的变化,应用通常需配合非阻塞 fd,持续读/写直到 EAGAIN(当前操作会阻塞)。若因应用容量不足而提前停止,必须另行安排继续处理,否则不能只指望下一次状态变化。Java 程序应按 Selector 的契约处理,read 返回 0 不等于原生系统调用返回的错误码。
3. 实现:每连接保存协议和I/O状态
每个连接至少保存输入 Buffer、待写队列和输入是否结束的状态。一次事件可能只完成一部分工作,下次事件必须从这些状态继续,而不是从头读取或重发。
本例的长度帧由 Header(消息头)和 Body(消息体)组成:Header 是 4 字节大端序的非负 int,表示 Body 的字节数,允许范围为 0 到 65536;随后是相应长度的 Body。大端序指高位字节在前。长度字段不支持整个无符号 32 位范围,非法长度必须在分配响应空间前拒绝。
图表将在阅读到此处时加载…
3.1 Buffer不变量
“不变量”指每次处理结束后都必须成立的状态约束。这里的约束是:等待下一次读取时,输入 Buffer 处于写模式,开头保存尚未消费的字节,后面留出接收空间。Buffer 的“写模式”指向缓冲区填入数据,不是向网络发送数据。
读取后调用 flip(),将 limit 设为已接收的字节数、position 归零,切换到解析用的读模式。解析后调用 compact(),把未消费的尾部移到开头,将 position 放在这些字节之后,并恢复可写入的范围。这样既保住半帧,也能继续接收。
以下是完整程序中的局部解码片段,依赖每连接状态及服务端的容量计数,不能单独运行:
java
input.flip();
while (input.remaining() >= Integer.BYTES) {
input.mark();
int length = input.getInt();
if (length < 0 || length > MAX_FRAME) throw new IOException("invalid length=" + length);
if (input.remaining() < length) {
input.reset();
break;
}
int frameBytes = Integer.BYTES + length;
if (connection.output.size() >= MAX_PENDING_FRAMES
|| connection.pending + frameBytes > MAX_PENDING
|| globalPending + frameBytes > MAX_GLOBAL_PENDING) {
throw new IOException("pending byte limit exceeded");
}
ByteBuffer response = ByteBuffer.allocate(frameBytes);
response.putInt(length);
for (int index = 0; index < length; index++) response.put(input.get());
response.flip();
connection.output.add(response);
connection.pending += frameBytes;
globalPending += frameBytes;
}
input.compact();不足 4 字节时,循环不读取 Header;Header 已完整但 Body 不足时,reset() 将位置退回 Header 前,再由 compact() 保留 Header 和部分 Body。例如 Body 长度为 10,当前只收到 3 字节 Body,就应保留这 7 字节,等待剩下的 7 字节。
clear() 只重置位置边界,不擦除底层字节,但若用它开始下一次接收,未处理的半帧会被当作可覆盖空间。仅调用 flip() 也没有整理尾部、恢复接收空间。完整程序的输入 Buffer 大小为最大 Body 加 4 字节,保证合法单帧能够装入;它不会按任意外部长度分配大数组。
3.2 写队列和关闭不变量
待写 Buffer 的 position 记录已写出的字节位置,部分写入后下一次从该位置继续。write 返回 0 时保留队列,等待下一次就绪;队列非空时关注 OP_WRITE,清空后立即取消。若没有待写数据却一直关注可写事件,连接仍可能反复被报告为可写,造成无意义的循环。程序每次写事件最多处理 64KiB,以限制单个连接占用事件循环的时间。
read 返回 -1 表示 EOF(输入流结束),并不会自动关闭整个 Channel。本例停止关注读取;若完整请求的响应还在队列里,就先写完再关闭。如果 EOF 时仍留有半帧,说明消息被截断,该连接会被拒绝并清理,其待写响应也不再保证送出。客户端输出半关闭是指停止发送、仍继续接收,与关闭整个 Socket 不同。
读写处理中的连接异常被单独捕获并清理,避免一个非法长度中断整个 EventLoop。接受新连接的 accept() 在非阻塞模式下可能返回 null,表示当前没有待接受连接;每轮最多尝试接受 16 个连接,避免新连接处理一直占用循环。
4. 完整程序与验收矩阵
准备 JDK 17,下载ReactorFrameServer.java与ReactorFrameClient.java,放到同一测试目录,在该目录编译并启动服务端,确保本机 9000 端口可用:
bash
javac ReactorFrameServer.java ReactorFrameClient.java
java ReactorFrameServer 9000 60另一个终端等待服务端输出listening后运行:
bash
java ReactorFrameClient 9000服务端只监听 127.0.0.1,运行 60 秒后清理 Channel 和 Selector。客户端有连接和读取超时;它验证字节及长度,不用 read 次数判断消息边界。流水线发送指先连续发送多帧,再依次读取响应,而不是每发一帧就等待一次响应。
2026-09-30 Windows/OpenJDK17+35实测输出:
text
fragmented frames, 12000-byte body, zero body, max body and half-close: PASS
invalid peer closed: PASS
invalid peer closed: PASS
1000 pipelined frames after invalid peers: PASS| 场景 | 验收断言 | 不能宣称什么 |
|---|---|---|
| Header逐字节提交、Body按997字节提交 | 响应长度/内容一致 | 网络必定按同样write边界分段 |
| 12000字节和最大65536字节Body | 不在4KB边界停滞或丢字节 | 已覆盖全部平台Selector实现 |
| 零长度、多帧连写 | 协议允许空Body,帧顺序正确 | 消息数量不限 |
| 非法65537长度、EOF前半个Header | 异常连接关闭,后续正常连接成功 | 客户端一定收到FIN而不是RST |
| 输出半关闭 | 先收到全部响应再EOF | 应用close也能继续读 |
| 1000帧流水线 | 解码/写回不漏帧 | 已压测万级并发 |
这些功能断言不能保证运行中一定触发 write=0 或短写(一次写入少于待写字节数)。覆盖这两种路径,需要可控的写端测试替身或真实慢消费者实验。拒绝阈值、30 秒无读写进展后的关闭和高并发容量,也需在目标环境分别验证;上述输出不是万级连接的吞吐量证明。
5. 背压:界限必须覆盖字节、对象和连接
当响应产生得比对端消费得快,尚未写出的数据就会积压。背压是把这种压力反馈给数据生产方,限制它继续产生或接收数据;容量上限则规定系统最多允许积压多少。仅使用非阻塞 I/O,并不能让积压自动消失。
示例设128连接、每帧64KiB、每连接待写256KiB、待写队列2048帧、全局待写8MiB。阈值只用于教学,既不是推荐生产值,也不是进程内存上限:ByteBuffer、队列节点、Socket内核缓冲、Selector和JVM都有额外成本。
小帧/空帧会产生很多对象,因此只限制Body字节不够。程序超过上限选择关闭故障连接;不实现透明的读暂停/低水位恢复。关闭会丢弃尚未写出的响应,真实业务需定义过载错误、幂等与重试。
更精细的策略是设置高、低水位:积压达到高阈值时暂停读,下降到较低阈值时恢复,避免在同一个阈值附近反复切换。恢复时还要先安排处理用户态 Buffer 中已有的完整帧,因为这些数据已经离开内核,不一定会再产生新的内核可读事件。
暂停读取后,Socket 接收缓冲区可能逐渐填满,并通过 TCP 的接收窗口缩小限制对端发送,反馈并非瞬时完成。Reactive Streams 用下游请求的元素数量表达需求,它与连接级字节上限、业务并发上限是不同维度,见并发24 - Flow背压。
6. 阻塞卸载与线程模型取舍
同一个 EventLoop 负责多个连接,任何长时间停顿都会延迟这些连接的推进。因此,不应在其中执行耗时不可控的 SQL、同步 HTTP 调用或繁重的 CPU 计算。阻塞卸载指把这些任务交给工作线程;执行器必须有容量上限和拒绝处理,否则只是把积压从写队列搬到任务队列。
工作线程完成后,通过有界结果队列把结果交还 EventLoop,并调用 selector.wakeup() 唤醒可能正在等待的选择器。连接、interestOps 和协议状态尽量由 EventLoop 统一修改,减少并发更新导致的状态错乱。
若结果回来时连接已关闭,要丢弃结果并释放关联资源;不能继续向已取消key追加响应。Echo示例不执行阻塞业务,因此没有示范工作池,不能据它证明跨线程处理正确。容量与拒绝见并发09 - ThreadPoolExecutor。
| 选择 | 优势 | 必须继续保护的对象 |
|---|---|---|
| 平台线程阻塞 | 直线调用易理解 | 线程、连接、任务队列 |
| Reactor | 大量空闲连接少占平台线程 | Buffer、EventLoop时间、业务池、写队列 |
| 虚拟线程 | 支持的阻塞等待减少载体线程占用 | 下游并发、连接、内存、总截止时间(Deadline) |
并发13 - 虚拟线程要求最低 JDK 21,不能直接作为本文 Java 17 程序的替换方案。载体线程是实际执行虚拟线程的底层平台线程;减少等待时的载体占用,并不等于增加下游处理能力。三种模型都需要限制数据库等依赖的并发量。
7. 排障:CPU、队列和内存一起看
长尾指少数操作的耗时显著高于大多数操作。排查时要把事件循环、应用队列和操作系统资源放在同一时间线上,不能仅凭 CPU 高或连接数多判断根因。FIN 表示 TCP 发送方向结束,RST 表示连接重置。
| 现象 | 先查什么 | 可证伪条件 |
|---|---|---|
| 高CPU但无进展 | 永久OP_WRITE、输入Buffer剩余0、循环率、栈 | CPU集中在业务计算则不是Selector空转 |
| 多连接同时长尾 | 单EventLoop阻塞、每事件处理预算 | 只一个连接慢则继续查该流窗口/队列 |
| 堆持续上升 | 待写字节、帧数、连接数、任务结果队列 | 只有内核Socket内存涨则需OS证据 |
| FIN后响应不全 | 是否直接close、未排空待写、EOF半帧 | 对端完整收到再主动断开则查业务语义 |
以下诊断命令中的 PID 需替换为目标进程号,并要求对应工具和访问权限。Linux 可用 ss -tin 看目标连接、pidstat -w -p PID 1 看调度、cat /proc/PID/limits 看进程限制;Java 可用 jcmd PID Thread.print 获取线程栈,再与 JFR(Java Flight Recorder,Java 运行事件记录工具)的记录关联。ulimit -n 只描述当前 shell 的文件描述符限制,不是已运行进程的实际限额。
strace -f -e trace=epoll_wait,poll,select,accept4,read,write -p PID需先确认平台实现,原生调用还可能使用其他变体;它有开销,应限时、受控执行。Windows 上的功能验证不能证明 Linux epoll 路径的行为。
8. 导航与依据
- 后续容量:18 - 连接池与系统资源。
- 消息原理:09 - TCP定界。
- 报文对照:21 - 抓包。
- Java17 ByteBuffer:flip/compact和position/limit。
- Java17 SocketChannel:read/write、EOF和零返回。
- Java17 Selector:selected keys与wakeup;原生ET语义按目标系统epoll(7)核对。
验收点:半帧不丢、部分写可续、异常不扩散、EOF先排空、每个积压对象有界,再讨论连接规模。