外观
21 - tcpdump 与 Wireshark 抓包
基础前置:02 - 封装与观测单位、A - 实验与证据方法。深入分析前回读05 - 握手、06 - 序列号与窗口、08 - 关闭连接。
命令面向 Linux、tcpdump/libpcap、Wireshark/tshark;需记录工具版本和实际捕获的链路类型。Windows 可使用 Wireshark/Npcap;macOS 的接口和权限不同,不能照抄
lo/eth0。
摘要
抓包用于回答:同一段数据在什么位置、什么时间出现过?tcpdump 负责在指定接口捕获数据包并保存为 pcap 文件;Wireshark 提供图形界面来解析报文,tshark 则适合在命令行提取字段。它们看到的是捕获点的网络数据,业务是否完成还需要应用日志和回执来判断。
本文先说明捕获位置和过滤条件,再用半关闭实验推演 TCP 序列号,最后介绍双端比对与分析标签的限制。排查时要区分线路丢包、采集遗漏、卸载处理造成的视角差异,以及数据到达后应用尚未读取这几种情况。
1. 现象:服务说发了,客户端说没收到
先建立一个基本模型:应用调用 write → 本机协议栈处理和排队 → 网络传输 → 对端协议栈接收 → 对端应用读取和处理。抓包是在其中某个位置观察报文,并不同时观察整条路径。
服务日志中的“write 成功”描述的是本机 API 调用结果,不等于客户端已经读取数据。发送端抓包也可能位于 qdisc(Linux 网络排队调度机制)或网卡发送之前,因此“抓到”不能直接等同于“已从网卡发出”。客户端抓包文件里没有对应数据,既可能是路径丢失,也可能是抓错接口、过滤遗漏、采集丢包,或两端没有覆盖同一时间窗。
因此,先验证采集条件,再判断两抓包点之间的流量。一次缺失是证据线索,不是无条件根因结论。
2. 安全采集:先限定位置,再限定数量与时间
以下是 Linux 采集示例。203.0.113.10 是文档示例地址,应替换成授权目标;eth0 应替换成路由查询确认的接口。libpcap 是 tcpdump 使用的捕获库,接口和链路类型决定了文件里能看到哪些报文头。
bash
tcpdump --version
tcpdump -D
ip route get 203.0.113.10
sudo tcpdump -i eth0 -nn -s 0 -c 10000 \
-w incident.pcap 'host 203.0.113.10 and tcp port 443'| 参数/步骤 | 用途 | 正常结果/风险信号 |
|---|---|---|
-D | 列出可抓接口 | 确认接口,不能默认eth0存在 |
| 路由查询 | 确认实际源地址、出口 | 网络命名空间或出口错误,可能导致捕获为空 |
-i | 固定观测点 | 虚拟网卡、网桥、隧道和物理接口的视角不同 |
-nn | 不解析域名/端口服务名 | 避免诊断额外DNS流量 |
-s 0 | 保留完整捕获数据 | 捕获长度不足时无法解析/重组完整响应体 |
-c 10000 | 限制数据包数 | 达到上限会截断会话,不能证明后续不存在 |
-w | 保存原始pcap | 控制权限、容量和敏感信息 |
网络命名空间(Namespace)是进程所处的网络视图,不同命名空间可以有不同的接口和路由。容器内的流量未必经过宿主机上同名的接口;veth 是成对的虚拟网络接口,Bridge 是网桥,也不能把这些位置的捕获结果混为一谈。
数量限制不是时间限制:未达到 10000 个包时,命令会继续运行。应另设采集结束时间,停止后保存 tcpdump 统计与退出原因。大流量可用 -C、-W 轮转文件,但要核对本机帮助、磁盘上限和文件顺序。
any 用于观察多个接口,适合发现流量路径,但 Linux 可能使用 cooked capture,即以系统提供的链路信息代替原始以太网头。同一个包经过多个接口时可能重复出现。应结合捕获中可用的接口索引、方向和序列区间识别重复记录,不能直接把重复出现当作 TCP 重传。
3. 完整实验:先产生可解释的流量
下载HalfCloseDemo.java,在文件所在目录编译。实验使用三个终端:一个运行服务端,一个抓包,一个运行客户端。先启动抓包和服务端,确认服务端已监听,再运行客户端,避免漏掉连接建立过程。
服务端终端:
bash
javac HalfCloseDemo.java
java HalfCloseDemo server 9000 1000抓包终端(Linux 回环接口 lo):
bash
sudo tcpdump -i lo -nn -s 0 -w hello.pcap 'tcp port 9000'客户端终端:
bash
java HalfCloseDemo client 127.0.0.1 9000 half客户端完成后,在抓包终端按 Ctrl+C 停止捕获并保存统计。客户端发送 HELLO\n 后调用 shutdownOutput,只关闭发送方向,仍可接收响应,这就是半关闭。服务端读到 EOF(输入流结束)后延迟 1 秒,回复 OK\n,再关闭连接。客户端校验响应并等到对端 EOF;双方读取都有超时限制,完整 API 对照见08。
程序在 Windows 上有成功运行记录;这一记录说明程序运行成功,不代表 Linux 抓包命令已生成实测 pcap。以下为 half 模式正常完成时的预期输出,服务端两行、客户端一行:
text
EOF received; holding socket for 1000 ms
response written locally
response=OK; peer EOF received读报文前先认识三个字段:Seq 是本段起始序列号,ACK 表示下一步期望接收的序列号,Len 是本段 TCP 数据长度。两个方向有各自的序列号空间;数据按字节占用序号,SYN(建立连接)和 FIN(结束发送方向)各占一个序号,纯 ACK 不占序号。
下面是由协议与程序构造的教学推演,C 表示客户端,S 表示服务端。相对序号把各自的 SYN 记为 0,SYN 之后从 1 开始,假设没有序号回绕;表格不是实测报文逐行转录:
| 逻辑动作 | 方向 | Seq | ACK | 数据Len | 解释 |
|---|---|---|---|---|---|
| SYN | C→S | 0 | — | 0 | 客户端SYN占序号 |
| SYN+ACK | S→C | 0 | 1 | 0 | 服务端SYN也占序号 |
| ACK | C→S | 1 | 1 | 0 | 纯ACK不占序号 |
| HELLO换行 | C→S | 1 | 1 | 6 | 数据区间[1,7) |
| 输出FIN | C→S | 7 | 1 | 0 | FIN占一个序号 |
| 确认FIN | S→C | 1 | 8 | 0 | 接收连续字节及FIN |
| OK换行 | S→C | 1 | 8 | 3 | 反方向区间[1,4) |
| 服务端FIN | S→C | 4 | 8 | 0 | 回应方向也结束 |
| 最后ACK | C→S | 8 | 5 | 0 | 确认3字节及FIN |
例如,客户端的 6 字节数据占用 [1,7),即序号 1 到 6;随后 FIN 占用序号 7,所以服务端确认到 ACK=8。服务端的 3 字节响应占用 [1,4),FIN 占用序号 4,因此客户端最后确认到 ACK=5。这样比对的是字节与状态,而不是表格行数。
真实捕获可以把数据与 FIN 合并、插入单独 ACK,或把数据分成多段,不能要求恰好 9 个包。验收应检查完整握手、两个方向的字节范围、FIN 占用的序号,以及客户端的内容校验。
4. 从字段读到结论
bash
tcpdump -nn -tttt -r hello.pcap 'tcp port 9000'
tshark -r hello.pcap -Y 'tcp.port == 9000' -T fields \
-e frame.number -e frame.time_relative -e ip.src -e tcp.srcport \
-e tcp.seq -e tcp.ack -e tcp.len -e tcp.flags \
-e tcp.window_size_value -e tcp.window_size-r 读取文件,-tttt 显示带日期的时间,-Y 是 Wireshark 显示过滤器,-T fields 配合 -e 输出指定字段。tcpdump/libpcap 使用的 BPF(报文过滤表达式)与 Wireshark 显示过滤语法不同,不能把 tcp.stream eq 3 传给 tcpdump。采集过滤决定哪些包能进入文件,显示过滤只筛选文件里已有的包,不能找回未捕获的数据。IPv6 需补充 ipv6.src 等字段,ip.src 为空不能直接解释为报文损坏。
Wireshark 通常默认显示相对序号;tcpdump 的显示方式需按所用命令和版本核对,若需绝对序号可使用 -S。相对序号便于阅读单个连接,但跨文件匹配应使用一致的绝对序列空间及方向。tcp.stream 是分析器在当前文件内分配的流编号,不是全局连接标识,不能用它直接关联两个文件中的连接。
按以下顺序读:捕获记录(Frame)的时间与捕获长度 → 链路类型 → IP 端点 → TCP 四元组与标志位(Flags)→ Seq/ACK/Len → 窗口与选项(Options)→ 应用记录。四元组由源 IP、源端口、目的 IP、目的端口组成;标志位用于识别握手、确认、结束或重置等动作。先确定连接状态,再解释分析标签。
以下是可分别使用的 Wireshark 显示过滤器,依次筛选编号为 0 的 TCP 流、RST 重置报文、分析器标记的重传、重复确认、原始窗口为零的报文,以及 TLS 握手消息:
text
tcp.stream eq 0
tcp.flags.reset == 1
tcp.analysis.retransmission
tcp.analysis.duplicate_ack
tcp.window_size_value == 0
tls.handshake字段提取命令中的 tcp.window_size_value 是报文携带的原始窗口值,tcp.window_size 是分析器计算的窗口值。窗口表示接收方通告的接收额度;缩放因子在握手中协商,没有捕获握手时可能缺少计算依据,不能随意比较不同连接的窗口。
Follow TCP Stream 用于重组 TCP 字节流。TCP 不保留应用调用边界,同一段数据可能被分段发送或分多次读取,所以它不能恢复应用每次 read 返回了多少字节。
5. 双端抓包:定位“缺失”需要条件
双端抓包是对同一连接在两个位置同时取证。可使用A 的隔离 veth 拓扑,在 kb-a、kb-b 两个端点同时开始捕获。两端时钟应同步,但仍应优先按方向、绝对序列区间和载荷长度匹配,避免只凭时间戳判断。
Offload 指把部分协议处理交给网卡,或通过协议栈的分段、聚合机制减少处理开销。TSO 是 TCP 分段卸载,GRO 是接收侧聚合;它们可能让一个捕获点看到一大块数据,另一个点看到多段。因此要比较这些记录覆盖的字节区间,不能只比较包数。
| 观察 | 可以提出的假设 | 定责前必须补齐 |
|---|---|---|
| A端有序列区间,B端完整采集却没有 | 丢失于两观测边界之间 | 同时间窗、接口与过滤完整、抓包drop、Offload、qdisc位置 |
| 两端有,应用未消费 | 内核缓冲/TLS/解码/线程等待 | 应用读时点、错误和任务状态 |
| A端无,应用write返回 | 缓冲/路由/抓错点或更早本地失败 | 应用写时点、正确Namespace与所有可能出口 |
| B端缺前包,后续出现分析器重传标签 | 真重传或采集遗漏 | A端区间、ACK/SACK、采集统计和恢复时序 |
表中的 SACK 是选择性确认,用于报告已接收的部分字节区间;drop 指采集丢弃统计。停止时,packets dropped by kernel 非零说明采集链路有丢弃,文件缺口可能来自采集遗漏,不能直接当作线路丢包。零也不证明全路径捕获完整,还要排除镜像口、驱动和过滤遗漏。
NAT(网络地址转换)可以改地址/端口,匹配时要记录转换前后的对应关系;代理会创建不同的 TCP 连接,两侧有独立序列号空间,不能跨代理直接比较 Seq。细节见04 - NAT、15 - 代理和云原生12 - CNI。
6. 标签为什么会误导
Wireshark 的 TCP Analysis 根据捕获中的报文顺序和已知状态推断连接行为。若捕获漏掉了前面的包,分析器看到的历史就不完整,因此标签只能作为线索。Duplicate ACK 指重复确认,不必等于丢包;重传标签也可能受采集漏包、乱序和 Offload 影响。恢复推导见06。
本机出站报文显示 Checksum(校验和)错误时,先检查校验和卸载:捕获点可能在网卡完成校验和计算之前。捕获记录中的数据长度超过 MTU(接口最大传输单元)时,先检查 TSO、GSO(通用分段机制)和 GRO,确认看到的是分段前或聚合后的数据,而不是直接判定线上发送了超大包。
临时关闭这些能力前,需要确认接口、权限、支持项和性能代价。独立观测点通常更适合作为对照,不应把修改生产网卡能力作为第一项诊断动作。
TLS(传输层安全协议)会限制内容可见性。TLS 1.3 在 ServerHello 后的大部分握手内容已加密,无会话密钥的 pcap 不能直接展开证书;TLS 1.2、会话恢复及基于 UDP 的 QUIC,其观察条件不同。受控解密只能使用合法取得的会话密钥并限制留存,不能把服务端私钥当作 TLS 1.3 的万能解密工具。详见14 - TLS。
RST 是用于重置连接的 TCP 标志。捕获中的方向只说明看到了源地址指向某端的 RST,不能证明它一定由该端应用引发;中间设备可能注入报文。TTL(IP 生存时间)、MAC(链路层地址)和 IP ID(IPv4 标识字段)只能作为辅助线索,还要结合前序连接状态、设备日志和另一端捕获。
7. 可执行排障记录
把抓包字段与同一次请求的应用时间线对应,再填写下面的记录。所谓证伪实验,是提前写清某个假设成立或不成立时分别应看到什么,再选择一项能区分两者的操作。
text
请求ID与失败阶段:
双方四元组/NAT对应/代理边界:
接口、Namespace、Offload、工具版本:
应用写/读/EOF/错误时点:
缺失的绝对序列区间:
此前ACK、SACK及窗口:
双端捕获开始/停止、drop、截断:
候选根因与替代解释:
下一项证伪实验及影响范围:
恢复后的字节校验、错误率、P99:数据包到达不能直接推出业务完成,还要补充应用回执、事务结果或 Trace(请求调用链);P99 表示第 99 百分位耗时,其统计口径也要明确,与22 - 偶发超时对齐。若已有数据但 Reactor(基于事件循环处理 I/O 的模型)未推进读取或处理,应转向16 - Buffer与事件循环检查应用进度。
8. 取舍、导航与依据
基础工具部分适合在学习 TCP 前初读,完整序列推演与双端归因可在读完 06/08 后回看。生产采集应限定目标和时间,以只读观测为主,并控制敏感数据的访问与留存;全量 pcap 会占用存储和处理资源,不适合无期限采集。
- 后续分诊:20 - 分层排障。
- 综合案例:22 - 偶发超时。
- Wireshark TCP Analysis:分析器条件与处理顺序。
- Linux Segmentation Offloads:聚合/分段视角;实际行为按现场内核与驱动核对。
- RFC9293:序列号与关闭,不是tcpdump字段显示契约。
验收点:每个缺包结论都带采集完整性条件,每个协议判断都能对应到字节区间和状态。