外观
19 - Nagle、Delayed ACK 与缓冲区
前置阅读:02 - 写入与捕获边界、06 - ACK与窗口、09 - 应用定界。
TCP 规范以 RFC9293 为依据;Java 17 的
TCP_NODELAY只控制 Nagle。延迟确认的定时、缓冲区自动调整以及其他层的聚合和排队各有适用条件,不能把 40ms/200ms 当作通用延迟。
摘要
小请求已经调用 write,对端却迟迟无法处理,等待可能发生在应用缓冲区、TCP 发送端、确认返回、线程调度或网络路径上。理解这个问题,首先要区分三个事件:应用提交字节、TCP 发出数据、对端应用得到完整请求。本文先解释这些边界,再分析 Nagle 与延迟确认如何产生额外等待,最后通过六组写法与选项对照说明实验能支持哪些结论。
1. 现象:Header先写,Body却未及时可见
假设请求由四字节消息头(Header)和一段较小的消息体(Body)组成,消息头记录消息体长度。服务端必须读齐两部分才能处理请求并返回业务回执。客户端先写消息头,再写消息体:如果消息头已经发出但尚未被确认,Nagle 可能推迟发送下一个不足满段的数据;如果接收端此时又在延迟发送确认,消息体就会多等一段时间,服务端的业务处理也随之推迟。
这条因果链依赖多个条件。两次写入可能被聚合,消息头不一定单独发出;确认可能立即返回,内核的启发式策略也可能改变发送时机。因此,周期性延迟尖峰只能提供线索,不能单独证明 Nagle 是根因。显式 sleep、垃圾回收(GC)、锁等待、代理和线程调度也可能产生相似现象。
2. 原理:两个方向、两个目的
2.1 新小段发送与确认发送
TCP 传输的是字节流,应用的写入边界不等于 TCP 报文段或网络包(Packet)的边界。发送端可以先把字节放入缓冲区,再由协议栈决定何时发送、如何分段。接收端的 ACK(确认报文)表示 TCP 接收进度,不表示业务已经处理完成;业务回执则由应用协议定义。
Nagle 控制的是发送端的小段发送,目的是减少大量小报文带来的开销。它的经典模型是:存在未确认数据时,暂缓新的小段,直到确认推进,或积累足够数据形成满段。这里的“满段”是相对于连接可用的最大报文段数据长度(MSS)而言,并不是应用请求的长度。Nagle 不要求所有数据固定等待一段时间,也不禁止首个小段发送。即使满足 Nagle 的发送条件,数据仍受接收窗口 rwnd(接收端允许继续发送的额度)和拥塞窗口 cwnd(发送端为控制网络拥塞设置的额度)等限制。
Delayed ACK(延迟确认)控制的是接收端何时发送 ACK。接收端可以短暂等待,让一次确认覆盖更多数据,或把确认捎带在反向发送的数据中,从而减少单独发送的 ACK。RFC9293 给出延迟小于 0.5 秒等基线要求和确认频率建议;这限定了协议行为,并不表示操作系统的默认定时就是 0.5 秒。乱序到达、补齐此前缺失的数据以及快速确认策略都会影响实际行为,需要在目标系统上测量。
text
教学假设:Header已发送且未确认,Body不足满段,Nagle启用
C → S:Header
S:TCP已收Header;应用缺Body,不产生业务响应;ACK可能被延迟
C:Body已提交发送API,可能等待Header确认
S → C:ACK推进后,C获得发送Body的条件
C → S:Body;S应用才得到完整请求上图是条件化时序推演,C 表示客户端,S 表示服务端。额外等待来自两个策略的交互:发送端等待确认才继续发小段,接收端暂时没有发送确认。TCP ACK 由协议栈产生,不要求应用先调用 read;即使应用仍在等待 Body,协议栈也可以发出 ACK。因此,这不是应用之间的互锁,不能推断 ACK 必须等 Body 到达才发送。
2.2 TCP_NODELAY不提供什么
Java 的 setTcpNoDelay(true) 请求禁用该 Socket(网络套接字)的 Nagle 算法。它不会关闭延迟确认、用户态缓冲、TLS 聚合、内核排队或拥塞控制。因此,选项设置成功不证明每次 write 都立即发到网络上,也不保证一次 read 就得到一帧完整消息。
应先按09 的消息定界方法保证接收端能识别完整请求,再评估发送时机。TCP_NODELAY 不会恢复消息边界。低延迟小消息可以比较开启前后的回执耗时;批量流量还要比较每秒包数、CPU 和吞吐,不能只凭延迟目标就给所有 Socket 一律开启。
3. 实现:write与flush到哪里
缓冲区是暂存字节、等待后续处理的空间。用户态缓冲区位于应用进程中,TCP 缓冲区由内核管理,两者不是同一个对象。write 把字节交给当前流,flush 的含义则取决于流的实现:把用户态缓存交给下层,并不等于等待对端收到。沿着发送到接收的路径,可以分别观察以下边界:
| 层次 | 等待对象 | 证据 |
|---|---|---|
| 组帧/任务 | Body生成、锁、调度 | 组帧和write时点 |
| 用户态缓冲区 | flush或阈值 | 实际下层write,flush只向下层推进 |
| TLS | Record、加密与下层写入 | 明文API与TLS证据,见14 |
| TCP | Nagle、窗口、恢复 | ACK和TCP信息及选项对照 |
| qdisc/NIC | 排队、调度、Offload | 计数与独立捕获点 |
| 接收应用 | 解码、线程、业务 | read及解码完成时点 |
直接使用 Socket 的 OutputStream,不能假设它还维护一个必须靠 flush 才发送的 Java 层缓存。BufferedOutputStream.flush() 会把自身缓存写到下层流,不等待对端 ACK 或业务回执;其他包装流需要按各自契约理解。因此,不能根据 flush 次数推算网络包数。
表中的 TLS(传输层安全协议)会把应用数据组织成 Record(记录)后加密;qdisc 是 Linux 内核的排队调度机制;NIC 是网卡;Offload 指把部分协议处理交给硬件等机制完成。它们会影响数据处理或观测边界,但都不能通过 TCP_NODELAY 一并控制。
4. 完整实验:三种写法乘两个选项
准备 JDK 17,下载SmallWriteDemo.java,在文件所在目录编译运行。程序只依赖 Java 17 标准库,服务端绑定回环地址 127.0.0.1,流量在本机内传输。请求由四字节长度字段和 64 字节 Body 组成;长度值为 64,采用大端编码,即高位字节在前。服务端校验完整请求后返回一个字节的业务回执。客户端收到回执才发送下一轮,因此测量的是串行闭环交互耗时,不是并发吞吐。
bash
javac SmallWriteDemo.java
java SmallWriteDemo server 9002 20服务端输出 listening 后,在另一终端运行一组,客户端与服务端轮数须一致:
bash
java SmallWriteDemo client 127.0.0.1 9002 20 split false 0客户端参数依次为目标地址、端口、轮数、写入模式、TCP_NODELAY 和字段写入间隔 gap-ms。每组重启服务端,测试 combined/split/buffered 与 false/true 的六种组合:
| mode | 写法 | 意义 |
|---|---|---|
| combined | 组成68字节数组,一次write | 减少写调用,不保证对应一个网络包 |
| split | 直接向Socket流分写Header/Body,最后flush | 让两次写入有机会分别被处理,不保证Header独立发出 |
| buffered | 向用户态缓冲流分写字段,最后flush | 先在用户态聚合,再向下层推进 |
gap-ms 的范围为 0~100ms,仅在 split 和 buffered 模式下用于两次字段写入之间的显式 sleep。值为 0 也不能排除调度影响。非零间隔是人为干预,并计入回执耗时,不能将它解释为自然发生的 Nagle 延迟;combined 忽略该间隔,比较时要区分这一条件。
程序把各轮计时保存下来,完成交互后再打印,避免每轮控制台 I/O 干扰测量。它使用 System.nanoTime() 的单调时间记录两次 write 返回和 flush 返回距实验开始的时间,输出单位为微秒;另记录每轮从开始写入到收到回执的耗时。combined 只有一次写入,两列写入返回时间记录同一时点。API 返回时间不是调用开始时间,也不是网络包发出时间;跨机不能直接用 nanoTime 作为统一时钟。
百分位采用 nearest-rank:将耗时排序后,取第 ceil(样本数 × 百分比) 个样本。P50、P95 分别表示至少 50%、95% 样本不超过的耗时。这里没有预热,只有 20 轮,不能据此预测生产环境的 P99(99% 分位耗时)。
5. 实测与未覆盖项
2026-09-30,Windows/OpenJDK17+35回环,64字节Body、20轮、gap=0,每组一次结果:
| mode | TCP_NODELAY | P50微秒 | P95微秒 |
|---|---|---|---|
| combined | false | 147 | 235 |
| combined | true | 124 | 297 |
| split | false | 155 | 201 |
| split | true | 103 | 190 |
| buffered | false | 136 | 433 |
| buffered | true | 141 | 240 |
六组均通过 Body、业务回执和 EOF(输入流结束)校验,未显示固定 40ms/200ms 尖峰。这些结果支持六组写法都能完成协议交互,但没有数据包证据证明发生了 Nagle 与延迟确认的额外等待。各组的数字差异不能证明 TCP_NODELAY 更优:测试只有本机回环,没有真实网络路径上的往返时间(RTT)、抓包记录、预热、重复测量、包率、CPU 和竞争负载数据。结论仅限于功能对照可运行,不能外推生产延迟收益。
程序为 connect、accept 和 read 设置了等待预算,但写入仍可能阻塞,单次读取超时也不等于整轮的 Deadline(绝对截止时间)。执行实验时还需要外层截止时间,避免整体无限等待。轮数限制为 1~100,程序不是长期压测工具。
6. Linux验证:谁先晚了
以下命令用于专用 Linux 测试机上的回环实验,观察目标连接、捕获数据包并读取系统缓冲策略。回环结果不能代表广域网(WAN)路径;跨机或网络命名空间(Namespace,隔离网络资源的系统机制)实验如需改变服务端绑定,应显式修改绑定地址并限定测试范围。
bash
ss -tinm '( dport = :9002 or sport = :9002 )'
sudo tcpdump -i lo -nn -s 0 -c 1000 -w small-write.pcap 'tcp port 9002'
sysctl net.ipv4.tcp_wmem net.ipv4.tcp_rmemss 用于观察当前连接的 TCP 信息和内存;sysctl 输出的是系统缓冲策略范围,不是每个 Socket 当前的缓冲区值。tcpdump 的 -c 限制捕获数量,不限制运行时长,低流量时应主动停止并记录丢包统计(drop)。回环不经过真实网卡,不能据此评价硬件 Offload;在物理接口上应记录 ethtool 显示的能力和捕获位置,不应为对照实验直接关闭生产环境的硬件能力。
| 假设 | 支持证据 | 反证/下一步 |
|---|---|---|
| 应用晚生成/写 | Body或write调用本身晚 | 线程、锁、GC,见并发14 |
| 用户态缓冲区未推进 | 包装流已写,下层还没write | buffered/combined及flush对照 |
| Nagle交互 | Body已提交、Header未确认,等待与ACK推进一致 | 同负载NODELAY,排除窗口和调度 |
| Delayed ACK | 接收已到,确认稍后发 | 双点时序、接收策略,不只客户端空白 |
| 排队/路径 | 两观测边界时延、qdisc或恢复证据 | 独立捕获、负载RTT,见07 |
pcap 是抓包文件。发送端捕获位置可能在 qdisc 排队和 Offload 处理之前,因此抓到数据不等于数据已经经过网卡发出。即使观察到 write 早、捕获晚,也要先校准计时和捕获位置,见21。TCP_QUICKACK(请求快速确认)和 TCP_CORK(控制发送聚合)是 Linux 机制,生效时段须按内核版本核验,并非 Java 17 的可移植开关;不能把一次设置理解为永久禁用延迟确认。
7. 工程取舍、导航与依据
先保证正确组帧,再决定在哪层聚合、何时向下层写入。交互请求关注业务回执耗时分布,批量传输关注 goodput(单位时间交付的有效数据量)、packets/s(每秒包数)和 CPU。等待聚合过多数据会延长首字节等待,过度拆分写入则会增加调用和处理开销。还要考虑复制成本、哪个任务负责写入同一连接,以及输出积压占用的资源;一个发送选项无法解决所有等待。
- 定界:09;部分写:16。
- 协议性能:12 - HTTP、14 - TLS,不从明文回环外推HTTPS。
- 预算关联:分布式11,读取回执和总预算不同。
- RFC9293:Nagle、Delayed ACK与相互作用。
- Java17 Socket:setTcpNoDelay、超时和生命周期契约。
- Linux IP sysctl:缓冲策略,非目标内核现场数据。
验收点:说清在哪层停住,缺ACK与Packet证据时不直接归因Nagle。