外观
02 - 协议分层与数据封装
前置阅读:01 - URL 后的完整网络链路。实验准备:A - 网络实验与证据验证方法。
适用范围:以 IPv4、TCP、Ethernet 和 Java 17 为主。TLS/QUIC 不需要硬套 OSI 层号;Linux 抓包与 Offload 行为必须按实际内核、驱动和接口核对。
摘要
客户端一次写入 8192 字节,服务端一次只读到 4096 字节,为什么不一定是数据丢失?因为应用的写入次数、TCP 的报文段数量和接收端的读取次数没有一一对应关系。本文先解释各层如何封装数据,再介绍包大小限制和抓包差异,最后用传输程序说明应如何比较证据。
1. 现象:应用记录的次数为什么与抓包对不上
以第 4 节的传输程序为例,客户端写入 2048 次,每次 8192 字节;服务端使用的读取数组只有 4096 字节,一次读取最多只能填满这个数组,自然需要更多次读取。读取次数不同,本身不能说明 TCP “拆坏了消息”。Socket(套接字)是应用使用网络通信的接口;write() 把字节交给发送侧,read() 从接收侧取出字节,两端的调用边界彼此独立。
TCP 提供的是有序字节流:接收端按顺序取得字节,但不会得到“这是发送端第几次写入”的标记。TCP 会把连续字节组织成报文段发送,接收端再按自己的缓冲区大小、数据到达情况和调度时机读取。若业务需要识别一条完整消息,就必须由应用协议定义消息边界,例如在消息头中声明长度。
必须分别记录四件事:应用提交的字节范围、抓包点看到的序列范围、对端收到的连续字节、业务解码出的消息。仅比较调用次数,不能证明丢包、重复交付或消息损坏。
2. 原理:分层建立职责,不建立一一对应
先看一条基于 TCP、通过 Ethernet(以太网)发送的应用消息。应用协议规定这些字节表示什么;TCP 负责在连接两端传递有序字节;IP 负责跨网络寻址与转发;Ethernet 负责把数据交给当前链路上的下一跳,也就是本次转发要交付的下一个节点。
每一层都需要自己的控制信息。例如,IP 需要目的地址来选路,TCP 需要端口等信息来识别通信端点。发送时,当前层把上层数据当作载荷,在外面添加本层的头部;Ethernet 还添加帧尾的校验信息,这个过程叫封装。接收时,各层识别并处理自己的控制信息,再把载荷交给上层,叫解封装。封装解释的是数据如何被承载,并不意味着一条应用消息只需封装成一个包。
| 视角 | 单位与字段 | 解决的问题 | 不保证什么 |
|---|---|---|---|
| 应用协议 | Message,方法、长度、编码等 | 解释业务语义和消息边界 | 一条消息恰好一个网络包 |
| TLS | Record,加密与认证信息 | 保护记录中的字节 | Record 与 HTTP 消息、TCP 分段对齐 |
| TCP | Segment,端口、Seq、ACK、窗口 | 有序字节流、恢复和流控 | 每次 write 对应一次 read |
| IP | Packet,地址、TTL、上层协议号 | 尽力交付与跨网络转发 | 路径固定、永不丢失 |
| Ethernet | Frame,MAC、EtherType、FCS | 当前二层链路交付 | MAC 始终是最终目标的 MAC |
表中的 Message、Record、Segment、Packet、Frame 分别指应用消息、TLS 记录、TCP 报文段、IP 包和以太网帧。TLS(传输层安全协议)用于加密和完整性保护,是下面 TCP 链路中的可选部分。
字段可以先按用途理解:TCP 的 Seq 是序列号,用来标识字节的位置;ACK 是确认信息;窗口用于限制发送方可发送的字节量。IP 的 TTL(生存时间)在逐跳转发中递减,限制包被继续转发的次数。MAC 是链路层地址,EtherType 标识帧中承载的协议,FCS 是帧校验序列。后续专题会分别展开这些字段。
TCP/IP 四层模型按应用层、传输层、网络层和链路层划分职责。HTTP、DNS 和应用使用的高层安全协议放在应用侧。OSI(开放系统互连)七层模型进一步区分会话、表示和应用等职责。学习时先掌握数据如何交给下一层,不必给 TLS 或 QUIC 强行指定唯一层号。下面以 TCP 为传输基础,不能直接套用于不经过 TCP 的 QUIC。
图表将在阅读到此处时加载…
链路层只负责当前一跳,因此路由器转发时通常移除旧链路层封装,为下一跳构造新帧。普通路由中,IP 源地址和目的地址不变,TTL 则随转发递减;头部字段改变后,IPv4 的头部校验和(Header Checksum)也需要更新。
NAT(网络地址转换)、隧道和代理需要另外分析。NAT 会改写相关地址或端口,隧道会增加外层封装;代理终止连接后使用的是另一条 TCP 连接。两条连接有各自的序列号范围,不能跨代理直接匹配同一序列空间。详见04 - 路由与 NAT和15 - 代理与网关。
3. 实现边界:MTU、MSS 与实际载荷
3.1 不要把三种大小混为一谈
封装需要占用空间,因此“接口允许多大的 IP 包”和“其中能放多少 TCP 数据”是两个问题:
- 接口 MTU(最大传输单元):该接口可承载的网络层包大小,包含 IP 头,但通常不含 Ethernet 头和 FCS。
- Path MTU(路径 MTU,简称 PMTU):一条路径上限制包大小的最小 MTU。某一跳更小,就会限制整条路径;隧道的外层封装还会占用空间。
- 通告 MSS(最大报文段大小):在 SYN 握手报文中告诉对端自己可接收的 TCP 数据大小约束,不包含 IP 和 TCP 头。双方分别通告,不是协商出一个固定的双向包长。
以 MTU 1500、普通 IPv4 和 TCP 固定头各 20 字节为例,留给 TCP 数据的空间为 1500 - 20 - 20 = 1460 字节,通告 MSS 常见为 1460。
再考虑 Options(头部中的可选字段)。原文引用的 RFC 6691 规定,计算通告值时扣除固定 IP/TCP 头,不预扣可能出现的 Options;发送具体报文时仍要为实际 IP/TCP Options 留空间。假设 TCP 时间戳选项连同填充占 12 字节、其他条件不变,该报文最多携带 1500 - 20 - 20 - 12 = 1448 字节数据,而不是据此把通告 MSS 一律改成 1448。
实际发送数据还受路径、对端通告、窗口和应用写入量限制。“通告 1460”不能推出每个 Segment 都有 1460 字节。IPv6 固定头、隧道、PMTU 与分片规则另有边界,参见10 - UDP 与 QUIC。
3.2 分段、分片、短读是三件事
| 机制 | 发生位置 | 应检查什么 |
|---|---|---|
| TCP 分段 | TCP 把字节组织为 Segment | MSS、Seq/Len、窗口和发送时机 |
| IP 分片 | IP Packet 被分片并重组 | 分片标识、偏移、PMTU、ICMP;IPv4/IPv6职责不同 |
| 应用短读 | read 返回少于期望长度 | 返回值、剩余长度、EOF与解码状态 |
这里的 Len 是数据长度,ICMP 是互联网控制报文协议,EOF 表示输入流结束。分段和分片改变传输中的数据组织方式,短读描述的则是一次应用调用取到了多少字节。不能根据一次短读倒推出发生了哪一种网络处理。
假设应用协议规定消息头(Header)声明消息体(Body)的长度,解码器就应累计已读字节:数据不足时继续等待剩余部分;若尚未收齐就遇到 EOF 或超时,则按协议处理未完成的消息。TCP 的可靠交付不能替代这一步,详见09 - TCP 消息定界。
3.3 抓包中的“超大包”可能不在线上
理解了大小限制后,还要区分“主机内看到的数据块”和“链路上实际发送的包”。Offload(卸载)机制把部分处理交给网卡,或让协议栈批量处理数据:TSO 是 TCP 分段卸载,在网卡侧分段;GSO 是通用分段卸载,在软件侧分段;GRO 是通用接收合并,在接收侧合并数据。
抓包的采集位置(Hook)可能位于这些处理之前或之后。如果发送侧捕获的是分段前的数据块,或接收侧捕获的是合并后的数据块,就可能看到大于接口 MTU 的 TCP 数据。Checksum Offload(校验和卸载)也可能让本机出站抓包看起来校验和未完成。因此,本机抓包中的形态不能直接视为链路上传输的形态。
先记录抓包位置并执行 ethtool -k eth0,再与对端或独立镜像口比对。不要在生产环境直接关闭 Offload;能力、可修改项与性能影响依驱动变化。完整分析方法见21 - 抓包。
4. 验证:比较字节与摘要,而不是调用次数
完整 Java 17 程序:NetworkTransferDemo.java。下载到测试目录后,两个终端分别运行:
bash
javac NetworkTransferDemo.java
java NetworkTransferDemo server 9000 0bash
java NetworkTransferDemo client 127.0.0.1 9000程序发送 16MiB(16 × 1024 × 1024 字节):客户端每次写 8192 字节,服务端的读取数组为 4096 字节,双方计算 SHA-256 摘要以比较内容。命令中的服务端参数 0 表示接收前不额外暂停。
客户端写完后调用 shutdownOutput(),即半关闭输出:表示该方向不再发送数据,但仍可读取服务端响应。服务端读到 EOF 后检查总字节数,并返回一字节回执;客户端检查回执。这个示例用总量、摘要和回执对照传输结果,说明读取边界不能用于判断消息边界,不声称已经观测到某种 TCP 分段。
2026-09-30 在 Windows、OpenJDK 17+35 的一次回环运行实测:
text
client: total=16777216 writes=2048
server: total=16777216 reads=4096
双方 sha256=341aacac661ccb210720bedaa9ead5d668fe5ea41a73532fc147c71e34040df1这是该次读取结果,不是跨系统固定读长。有效断言为总字节数一致、摘要一致、收到回执;TCP ACK 与本例应用回执的区别见06 - 可靠传输与窗口。
Linux 上在发送前开始抓包:
bash
sudo tcpdump -i lo -nn -s 0 -c 10000 -w transfer.pcap 'tcp port 9000'
ip link show dev lo-i 固定接口,-nn 避免名称解析,-s 0 保留完整捕获数据,-c 限制数量,-w 保存文件。另设人工结束时间,传输结束后用 Ctrl+C 停止;达到数量上限可能遗漏后半段,不能再按完整会话分析。
在 Wireshark 中查看 tcp.len(TCP 数据长度)、Seq/ACK,以及按 TCP 流重组的字节。重组用于对照连续字节,单个捕获包则用于观察捕获点的报文形态。回环不经过物理 Ethernet,不能要求它出现真实 Ethernet 头或 1500 MTU。要观察二层封装,在两台隔离测试主机间重复,并记录实际出口 MTU;FCS 也可能被网卡移除,不一定被捕获。
以下 Linux 抓包步骤是实验方法,尚无对应实测记录。实际实验应按A - 验证方法填写结果,不把推演当作 pcap(抓包记录文件)。
5. 排障:先判断差异发生在哪个单位
| 现象 | 下一步证据 | 不能直接得出的结论 |
|---|---|---|
| write/read 次数不同,摘要一致 | 检查应用解码格式 | TCP 丢数据 |
| 只见部分 Header 或 Body | 记录已读、还需、EOF与超时 | 一个 read 就该拿到全帧 |
| 主机抓包超 MTU | Offload 状态、对端捕获、实际接口 | 网卡在线上发送非法巨帧 |
| 小包成功,大响应停顿 | PMTU、ICMP、隧道和双向抓包 | 只需扩大 Socket Buffer |
| 双方总字节数不同 | 错误、EOF、发送完成点、协议长度 | 抓包重传等于应用重复交付 |
接口信息可用 Linux ip link、Windows Get-NetIPInterface、macOS ifconfig 查看;命令与捕获链路类型不能跨平台照抄。
6. 工程取舍与阅读导航
应用层批量写可减少调用开销,但等待凑齐一批数据会增加缓冲等待时间。TCP_NODELAY 用于控制 Nagle 算法相关的发送行为,不会让 TCP 恢复消息边界。相关发送时机见19 - Nagle 与缓冲区。因此,读取数组或 Socket 缓冲区的大小应服务于吞吐、资源和延迟需求,不能代替应用协议的消息定界。
- 后续:03 - 以太网、ARP 与交换机,理解下一跳帧交付。
- 原理:06 - 可靠传输与窗口,区分接收与确认。
- 应用:09 - 协议设计,为字节定义消息。
- 跨专题:云原生12 - CNI与跨节点网络,将内外层封装用于 Overlay MTU 排障。
7. 标准与核验依据
参考资料如下。
- RFC 9293 §3.7.1:MSS 与实际发送限制。
- RFC 6691 §2:通告 MSS 与 Options 的区别。
- Linux Segmentation Offloads:TSO/GSO/GRO;引用时记录目标内核版本,不将 latest 文档当现场版本。
分层学习的验收点:能够指出每个日志和抓包字段属于哪种单位,以及它没有证明什么。