外观
09 - TCP 粘包、拆包与协议设计
前置阅读:02 - 调用与字节边界、06 - 有序字节流。输入结束(EOF)和半关闭见08。
本文使用 Java 17 示例:长度字段为 4 字节大端有符号整数,仅允许 0~65536 字节,消息体(Body)为字节数组。字段按 Java
int解释,负值非法,并非无符号 32 位整数。
摘要
发送端写入两条消息,接收端却可能一次读到两条,也可能分几次才读完一条。原因是 TCP 提供有序字节流,不保留应用每次 write 的边界。应用需要定义消息的起止规则,并累计读取,直到收齐完整消息。
本文先解释消息定界,再定义长度、编码、EOF 和错误处理规则,最后用阻塞输入流示例说明解码过程。非阻塞读取与未写完的数据如何处理,继续阅读16。
1. 现象:JSON连在一起,或只读到半截
假设发送端连续写入两段 JSON:{"id":1} 和 {"id":2}。接收端一次 read 可能读到 {"id":1}{"id":2},也可能只读到 {"id":。前者常被称为“粘包”,后者常被称为“拆包”。这里描述的是应用读取结果与消息边界不一致,并不表示 TCP 把消息传坏了。
把每次 read 的结果直接交给 JSON 解析器,就把一次函数调用的返回范围当成了一条消息。调整缓冲区(Buffer)、调用 flush 刷出缓冲数据,或开启影响小数据发送时机的 TCP_NODELAY,都不能补上消息的起止规则。
TCP 在缺失字节恢复后按序交付连续字节,但不知道哪几个字节是一条业务消息。因此,应用可能读到半个消息头(Header)、多条消息,或上一条 Body 和下一条 Header。TLS 加密传输和代理转发也不会恢复原来的 write 边界,见14、15。
2. 原理:先写协议,不先写read循环
消息定界就是约定接收端如何从连续字节中识别一条完整消息。本文把这样的应用消息称为帧(Frame);它不同于链路层的以太网帧(Ethernet Frame),也不同于传输层的 TCP 报文段(TCP Segment)。
常见的三种方式是:每条消息占固定字节数;以指定分隔符结束;先写长度,再写正文。无论选择哪种,都要规定长度或扫描上限,以及输入不完整、格式非法时如何处理:
| 方式 | 必须定义 | 代价 |
|---|---|---|
| 固定长度 | 布局、长度、填充/版本 | 变长和扩展不灵活,但不等于一定浪费 |
| 分隔符 | 转义、编码、扫描上限、缺终止符行为 | 需要扫描;正文含分隔符时须按规则转义,避免被误认为消息结束 |
| 长度前缀 | 字节序、长度含义、范围、截断行为 | 错长度可造成分配或长期等待 |
已有协议的定界规则可能更复杂。例如 HTTP/1.1 不能只看 Content-Length:请求方法、响应状态码、Transfer-Encoding(传输编码字段)以及通过连接关闭表示正文结束的规则,共同决定正文边界,并有优先级。代理与后端若对同一串字节划出不同的请求边界,可能导致请求走私。因此,应使用合规的 HTTP 实现,具体见12。
2.1 本篇协议契约
本篇采用长度前缀:每帧先放 4 字节 Header,声明随后 Body 的字节数。大端表示整数的高位字节在前。接收端先收齐 Header,再按长度收齐 Body,然后开始下一帧;每次 read 返回多少字节,不改变这个顺序。
EOF(End of File)在这里表示输入流结束,Java InputStream.read() 用 -1 表示。必须区分“还没开始下一帧就结束”和“当前帧尚未收齐就结束”。双方约定如下:
text
Header:4字节、大端、有符号int;合法区间[0,65536]
长度:仅Body字节数,不含Header,不是字符数
Body:任意字节;文本解码要求严格UTF-8
0:合法空Body,不是EOF
帧边界前EOF:正常输入结束,返回null
Header/Body中EOF:截断错误,终止当前连接的协议处理
非法长度/文本:拒绝,不猜下一个Header重新同步
并发写:单一写入者,或覆盖整帧的同步机制“你好TCP”是 5 个字符,在 UTF-8 下占 9 字节,所以长度字段应写 9,不能直接填 String.length()。严格 UTF-8 解码表示遇到非法字节序列就报错;若业务允许替换非法输入,也必须明确约定,避免默认解码悄悄改变正文。
四字节前缀只解决消息边界。实际 RPC(远程过程调用)协议还需按业务定义版本、消息类型、请求 ID、压缩和扩展长度等信息。
3. 实现:正常EOF与截断不同
下载完整LengthFrameDemo.java,只使用 Java 17 标准库。下面是核心方法片段,所需导入、MAX_FRAME = 64 * 1024、辅助函数和测试断言均在下载文件中:
java
public static byte[] readFrame(InputStream input) throws IOException {
int first = input.read();
if (first == -1) return null;
byte[] header = new byte[Integer.BYTES];
header[0] = (byte) first;
readExactly(input, header, 1, header.length - 1);
int length = ByteBuffer.wrap(header).getInt();
if (length < 0 || length > MAX_FRAME) throw new IOException("invalid length=" + length);
byte[] body = new byte[length];
readExactly(input, body, 0, length);
return body;
}第一次读取只取一个字节:若返回 -1,说明没有开始新帧,方法返回 null;若读到了字节,就必须继续收齐 Header。解析长度后,先检查合法范围,再分配 Body,避免根据非法长度直接分配内存。长度为 0 时返回空数组,与表示输入结束的 null 不同。
短读指一次读取返回的字节少于请求数量。辅助方法 readExactly 记录已读数量,只读取剩余部分;收齐前遇到 -1 就抛出 EOFException,表示帧被截断。示例还把返回 0 的无进展输入流作为错误拒绝。这里使用阻塞 InputStream,不能直接套到非阻塞 SocketChannel:后者的 read 返回 0 可能只是当前没有数据,并非 EOF。
DataInputStream.readFully 也能填满指定范围,但若直接用 readInt 读取 Header,未开始帧和半个 Header 两种 EOF 都可能抛异常,仍需额外区分。收齐 Body 后再用 StandardCharsets.UTF_8.newDecoder() 和 CodingErrorAction.REPORT 严格解码文本。64 KiB(65536 字节)的传输长度上限只约束 Body 字节数,JSON 嵌套深度、集合规模和解压后大小仍需在业务解析层限制。
3.1 非阻塞实现保存什么
16 的 Reactor 使用就绪事件驱动连接读写。当前没有数据时,读取方法不能一直等待,因此要保存尚未收齐的 Header 或 Body,等下次事件继续解析。缓冲区内若已有多帧,就循环取出完整帧;compact 把未消费的尾部移到缓冲区前面,为下次读取留出空间。输出方向也要保存尚未写完的 Buffer,继续发送剩余字节。
两种实现使用同一字节格式,区别在于如何等待和保存进度。本篇说明阻塞解码过程,第 16 篇进一步说明事件循环如何推进连接。
EOF 只结束输入方向,已有完整请求的待发送响应不应无条件丢弃,见08。这个解码器只负责读取,不负责 Socket 的生命周期;调用者决定是否先发送完待发送响应,再关闭连接。若出现协议错误,则应终止当前连接的协议处理,因为此时不能再假定剩余字节从正确的消息边界开始。
4. 确定性验证:主动制造短读
以下是示例的复现命令。下载文件后,在文件所在目录编译运行:
bash
javac LengthFrameDemo.java
java LengthFrameDemo程序先将文本帧、空帧和 65536 字节帧拼成一个数组,再用自定义输入流把每次批量 read 的返回上限设为 1、2、3、4、997 或整段字节。这样可以直接控制短读,而不必通过 sleep 或抓包猜测读取批次。下表是代码中的断言设计:
| 验证 | 断言 | 失败说明 |
|---|---|---|
| 六种read批次 | 文本/空帧/65536字节帧一致 | 依赖read大小 |
| 合并多帧 | 恰好三帧,随后null | 循环、长度或尾部错误 |
| 文本帧的每个非空截断前缀 | Header/Body中均抛EOFException | 半帧误当正常结束 |
| -1、65537长度 | 分配前拒绝 | 上限或线格式错误 |
| 合法/非法UTF-8 | 原文一致/严格拒绝 | 编码政策错误 |
历史实测记录:2026-09-30,Windows/OpenJDK17+35实际输出:
text
strict UTF-8 rejection: PASS
six chunk sizes, multiple frames, empty/max body, clean EOF: PASS
every truncated prefix, negative/oversize length: PASS这份记录来自内存流的确定性验证,不证明 Socket 超时、长期占用、写交错或任意模糊输入均已覆盖。
Socket对照复用ReactorFrameServer.java和ReactorFrameClient.java:分裂Header、12000字节Body、空/最大帧、非法长度、半Header EOF和异常后1000帧流水线步骤见16。成功回归不表示自然短写或慢消费者一定触发。
5. 有界资源与时间
单帧长度合法,不代表整个服务的资源占用可控。连接数量增多会放大内存占用;对端缓慢发送,也会让一条不大的消息长期占用连接。因此,还需要限制总量和完成时间:
| 防护 | 保护对象 | 覆盖与未覆盖 |
|---|---|---|
| 单帧线上长度 | 巨大直接分配 | 示例断言覆盖 64 KiB 上限 |
| 并发连接/总内存 | 小上限乘巨大连接数 | 调用方预算,readFrame不是全局有界系统 |
| Header/Body 完成截止时间(Deadline) | 对端持续少量发送,长期占用连接 | 本篇不实现 Socket 总 Deadline |
| 待处理/发送字节与帧数 | 合法流水线堆积 | Reactor有拒绝边界,不是完整生产背压 |
| 解压/解析预算 | 压缩膨胀与深层嵌套 | 业务解析器独立限制 |
SO_TIMEOUT 通常限制某次阻塞读取的等待时间,不是整帧的完成预算。如果对端总在本次等待超时前发来少量字节,readExactly 就可能反复继续读取,整帧耗时仍然很长。这类持续少量发送的行为常称为“滴流”。
Deadline 是整个操作必须完成的截止时刻。要限制总耗时,就需在继续读取前计算剩余时间,并考虑缓冲读取、任务取消和 Socket 释放。具体框架行为应按版本核验,见17、分布式11。经典 Socket 的写入也不受读取超时保护,需要独立限制完成时间。背压则是让生产速度适应处理或发送能力的机制,单纯超限拒绝并不构成完整的生产背压方案。
并发写入还可能破坏边界。例如两个线程分别写 Header 和 Body,输出可能交错为 A 的 Header、B 的 Header、A 的 Body,接收端就会把 B 的 Header 当成 A 的正文。即使每个字段的写方法各自加锁,也不能保证整帧连续写入。应由单一写入者管理输出,或让同步机制覆盖整帧的写入序列。
6. 排障:从字节偏移定位
排障时先确认解码器读到了哪里。记录协议版本、连接四元组(本地 IP、本地端口、远端 IP、远端端口)、传输方向、已消费字节偏移、Header 的四个字节、解析长度、已读 Body 字节数及结束原因。字节偏移表示从流起点已消费多少字节,有助于判断当前 Header 是否读错了位置;敏感 Body 不写入公共日志。
| 现象 | 下一项证据 | 不该做的修补 |
|---|---|---|
| 长度巨大/负数 | 字节序、上帧偏移、写交错、版本 | 直接分配或盲扫Header |
| UTF-8偶发错误 | 完整帧后解码、非法输入、字节长度 | 每次read就new String再拼接 |
| read长期等待 | Header/Body量、预算、发送任务 | 重置完整超时 |
| EOF丢最后响应 | 完整请求的输出是否排空 | read=-1立刻无条件close |
21 的 Follow TCP Stream 是 Wireshark 跟踪并重组 TCP 字节流的功能,可用来查看传输内容,但不能还原应用每次 read 返回多少字节。读取批次需要应用日志或可控输入流来观察。故障注入使用A 的隔离拓扑,不要为制造“粘包”修改宿主机整个回环接口 lo 的队列规则(qdisc)。
7. 工程取舍、导航与依据
发送前先组好完整帧,可减少分字段写入导致的交错机会和写调用次数,但仍不保证对应一个网络包(Packet);发送时机见19。接收端也有取舍:整帧复制会增加复制成本,缓冲区切片需要管理底层缓冲区的生命周期,流式读取 Body 则需持续记录进度。减少复制时仍要保留长度和资源上限,不能因追求“零拷贝”取消防护。
- 后续:16 - Reactor,接入有界事件循环。
- 应用:分布式05 - RPC,在传输之上增加请求ID和业务回执。
- RFC9293:字节流不提供记录边界。
- RFC9112:HTTP/1.1定界与解析安全。
- Java17 DataInputStream:readInt、readFully 与 EOF 契约。
验收点:短读和合并不改变消息,正常EOF、半帧EOF、空帧和非法长度结果不同。