外观
20 - 分层网络排障方法
阅读路径:先用本文缩小故障范围,再读对应机制与21 - 双点取证,最后用22 - 请求时间线分析原因并复盘。实验和恢复约定见A。
命令面向 Linux,Java 演示基线为 17。错误文本、工具选项、代理和网络上下文需要按现场核验;命令退出码为 0 或出现某个异常名,都不足以证明根因。
摘要
“Ping 通了,接口为什么还访问不了?”因为连通性探测与业务请求的完成条件不同。分层排障的核心是先确认请求已经完成哪些阶段、最早在哪一步没有完成,再选择能区分候选原因的验证动作。这样可以缩小范围,避免把一次探测成功、单点抓包或日志缺失直接当作根因证据。
1. 现象:同一句“访问不了”,对应不同完成边界
先把一次新建 HTTPS 连接上的请求理解为几件事:客户端取得目标地址,建立 TCP 连接,完成 TLS(传输层安全协议)握手与身份验证,发送 HTTP 请求,再接收响应头和响应体(Body)。应用还可能先等待连接池中的连接或容量许可。这里的“边界”指某一阶段是否已经完成,例如 TCP 建连成功与收到完整业务响应是两个不同边界。
这个模型不是所有请求都遵循的固定步骤表。DNS(域名系统)查询可能命中缓存;复用连接时,本次请求可能没有 DNS 查询、TCP 建连或 TLS 握手。连接池的等待位置取决于客户端实现,代理也可能把路径拆成多段连接。因此,应根据实际调用过程判断阶段,不能用一次新建连接探测代替原来的复用连接故障。
未取得地址、未获得池槽位、TCP 未建立、TLS 验证失败、网关返回 504,以及收到一半响应体后断开,说明请求停在不同位置。Acquire 是获取连接或许可的过程;若在本地等待许可时就超时,请求可能尚未发送任何网络包(Packet)。此时查远端链路,通常不能解释这次等待。
排查前先记录能对应同一次失败尝试的上下文:发生时间与时区、调用方实例、网络命名空间(Namespace,即该进程看到的接口和路由视图)、原始主机名(Host)、选中的 IP 与地址族(IPv4/IPv6)、端口、代理路径、协议、请求标识(Request ID)、重试尝试编号(Attempt)和完整错误原因链。否则,日志与抓包可能来自不同实例、不同连接或不同重试。
2. 分诊:按最早未完成边界选择动作
| 已有证据 | 优先核验 | 机制文章 |
|---|---|---|
| 名称解析失败或实际 IP 不同 | 查询名、记录类型、运行时缓存,以及不同解析环境返回的结果 | 11 |
| Acquire 等待后失败,尚无网络交换 | 连接池/许可、等待队列(Pending)、占用情况和等待预算 | 18 |
| 源地址/出口错误,或下一跳邻居解析失败 | 路由规则、下一跳、地址解析及所在二层网络 | 03、04 |
| TCP 建连未完成 | 双端握手报文与服务端监听状态 | 05 |
| TLS 失败 | 预期服务身份、握手携带的服务器名称、证书链、信任锚及每一跳配置 | 14 |
| 已有HTTP错误响应 | 响应生成者与上游每次尝试 | 15 |
| 响应体/业务回执慢或中断 | 已收字节、丢失后的恢复、流量控制额度、应用读取进度和截止时间 | 06、17 |
| QUIC/UDP 失败但 TCP 成功 | 实际协议、数据报、路径最大传输单元和协议回退 | 10 |
表中的高级线索各有含义:ARP/NDP 分别用于 IPv4/IPv6 邻居发现;VLAN 划分二层网络;TCP 握手需要 SYN、SYN+ACK 和确认报文。TLS 的 SNI 用于在握手中指定服务器名称,信任锚是客户端信任的证书验证起点。QUIC 基于 UDP 传输,Datagram 指数据报,PMTU 是路径允许的最大传输单元。这些机制的细节可以在确定候选边界后再读,不必在每次排障时全部展开。
这张表用于选择下一项证据,不直接判定根因。例如,已经收到 HTTP 错误响应,说明某个 HTTP 节点生成了响应,但还不能确定它是网关还是业务服务;要继续对应该节点的上游尝试。
错误名称也只提供线索。Connection refused 可与主动拒绝相关,但拒绝可能来自主机或中间设备;No route to host 也可能涉及邻居解析或 ICMP(网络控制报文)到本地错误的映射,不能只检查默认路由。Java 的 UnknownHostException 表示名称解析失败,不等同于 DNS 返回 NXDOMAIN(域名不存在)。
3. 最小命令:记录证明范围和剩余未知
以下为 Linux 诊断命令示例,不是故障现场的输出记录。example.test 和文档示例 IP 需替换成授权服务;PID(进程标识)、源地址和接口必须来自故障环境,而非当前办公机。DNS 查询、端口探测和 HTTP 请求会发送流量,应限定目标、次数与等待预算。
3.1 名称与实际目标
bash
cat /etc/resolv.conf
getent ahosts api.example.test
dig api.example.test. A +time=2 +tries=1
dig api.example.test. AAAA +time=2 +tries=1/etc/resolv.conf 提供系统解析配置线索;getent 用于对照系统名称服务的结果,dig 用于对照 DNS 协议查询。A 查询 IPv4 地址,AAAA 查询 IPv6 地址。两种工具不一定经过与 JVM 相同的解析和缓存路径,也不决定应用最终选择哪个地址,所以工具返回正确地址仍不能排除应用缓存差异。
应保存查询类型、服务器、响应码(RCODE)、缓存有效期(TTL)和耗时,并与应用实际返回值、连接 IP 对照。dig 的查询等待预算不等于业务请求的总预算。内部域名不得提交给未经授权的公共解析器(Resolver),也不得通过未经授权的逐级查询(trace)路径发送。
3.2 路由、邻居与端口
bash
ip rule show
ip route get 192.0.2.20 from 10.200.0.1
ip neigh show dev INTERFACE
nc -vz -w 3 192.0.2.20 443
ss -lntp 'sport = :443'ip rule 查看策略路由规则,ip route get 查询给定条件下的路径选择,不发送业务请求。示例源地址必须实际存在;若业务使用报文标记(mark)或独立路由域(VRF),还需补齐对应条件。否则,查到的出口未必是失败请求使用的出口。
邻居表用于找到下一跳的链路层地址。跨网段访问时,下一跳通常是网关,因此不要求公网目标 IP 出现在本机 ARP 表中;还要核对 ARP/NDP 状态与 VLAN 是否正确。
nc 的参数及拒绝/超时表现需要按具体实现核验。成功只证明这次 TCP 连接探测完成,不证明 TLS 验证或业务请求成功。ss 应在监听端的正确网络命名空间内查看监听地址、进程与队列;权限不足导致进程信息不可见,不能解释为进程不存在。
3.3 TLS与HTTP
bash
curl --connect-timeout 2 --max-time 5 --resolve api.example.test:443:192.0.2.20 -v https://api.example.test/health这条命令用 --resolve 为指定主机和端口提供固定 IP,同时保留 URL 中的名称用于 TLS/HTTP 身份。如果直接改成 IP 地址访问,就可能改变证书验证或虚拟主机选择,无法只比较目标 IP 的差异。不能用 -k 跳过身份验证来掩盖身份错误。
--connect-timeout 2 限定连接阶段等待,--max-time 5 限定整个操作的时间;具体阶段覆盖范围按本机版本核对。curl 与 Java 可能使用不同的信任库,代理环境也会影响路径。先记录实际代理和连接 IP,未经授权不绕过企业代理。/health 成功仅说明该路径在这次探测中成功,不证明全部业务接口及其依赖正常。
若进一步采集 curl 计时字段,要注意它们常是从操作开始计算的累计时间点,而非互不重叠的阶段耗时。例如,time_starttransfer 可能已经包含此前的连接等待,不能把它与 time_connect、time_total 直接相加。代理、连接复用、重定向和版本都会影响解释;阶段区间的分析方法见22。上面的命令使用 -v 查看详细连接信息,并未指定输出这些计时字段。
3.4 双点捕获与运行时
bash
sudo tcpdump -i INTERFACE -nn -s 0 -c 500 -w incident.pcap 'host 192.0.2.20 and tcp port 443'
jcmd PID help
jcmd PID Thread.print抓包前指定真实接口和目标,设定停止时间,并在停止时保存采集丢包统计(drop)。-c 500 只限制包数,不提供结束时间;流量不足时命令会继续等待。-s 0 用于保留完整捕获数据,生成的 incident.pcap 可能包含敏感信息,需要控制权限与留存。
双点抓包是对同一时间窗在路径两处取证。若地址或端口经过转换,另一端应按转换后的值过滤;TLS 加密会限制内容可见性,代理还可能拆成不同连接。只有先确认这些对应关系,才能分析某段数据在哪两个观察点之间缺失,完整方法见21。
jcmd 需要匹配目标 JDK 与 PID 上下文,并评估附加权限和开销。线程快照显示采样时线程所在位置,不能单凭一次快照证明全部等待原因;JVM 工具说明见07。
Windows 可用 Get-NetTCPConnection、Find-NetRoute、Resolve-DnsName 作只读对照,但字段不与 Linux 一一等价。Get-Process 的 Handles 是 Windows 句柄数量,不能当作 Linux 文件描述符(fd)数量。记录工具版本、权限失败和缺失字段,不要自行补成默认值。
4. 可重复分诊演练:用已有完整实验反证
以下 Java 实验的历史运行环境为 Windows/OpenJDK17+35,运行步骤与输出见对应文章。它们通过可控条件展示不同的完成边界,适合练习如何排除错误解释:
| 实验入口 | 能训练的边界 | 尚未覆盖 |
|---|---|---|
| 05 - HandshakeBoundaryDemo | connect快、accept/回执晚 | Linux队列溢出与真实丢包 |
| 11 - DnsCacheBoundaryDemo | JVM正负缓存与映射变化 | 真正递归/权威DNS |
| 14 - TlsIdentityDemo | 名称和信任独立失败 | 公网链、mTLS、吊销与代理TLS |
| 17 - SocketFrameDeadlineDemo | read间隔不超时但整帧超预算 | 任意HttpClient Body与写入截止 |
| 18 - PermitWaitTimelineDemo | 未准入就失败,尚无网络 | 产品连接池与真实远端 |
例如,许可等待实验用于检验“超时一定发生在网络上”这一解释;整帧截止实验用于区分“每次读取都及时返回”与“完整消息在总预算内读完”。其中 mTLS 指双向 TLS 身份验证,HttpClient 是 HTTP 客户端,connect、accept、read 分别对应连接、接收连接和读取操作。
执行前写下预期结果:哪个阶段应失败、哪些网络包不应存在、干预后哪个指标应恢复。如果结果与预测相反,就调整假设,而不是强行归入既定结论。连接等待、截止时间和子进程运行仍受环境与调度影响;本机回环实验也不能用作生产容量基准。
5. 单点与日志缺失:证据不足时怎样表述
| 观察 | 合理表述 | 不合理表述 |
|---|---|---|
| A抓到,B文件没看到 | 两点采集与转换条件确认后,缺口候选在两边界间 | A发了所以B故障 |
| B收到、应用无日志 | 检查消费、解码、采样与请求对应 | 网络肯定正常或请求肯定未到 |
| 时间同步但几毫秒先后不同 | 核时钟偏差与采集位置 | 单凭跨机时间戳定严格因果 |
| 重启后恢复 | 状态改变,需保存并解释原证据 | 重启证明根因为连接泄漏 |
| 一个样本伴随GC/重传 | 相关线索,需请求与变量对照 | 所有超时由GC/网络造成 |
这张表中的 A、B 表示两个观察点。数据包到达 B 的协议栈,不代表应用已经读取、解码或处理;没有应用日志,也可能与采样或请求匹配有关。GC 是垃圾回收,重传是协议恢复线索;它们与一次超时同时出现,只能先说明相关,仍需对应同一请求的时间线并比较其他解释。
NAT(网络地址转换)会改变端点地址,Offload(硬件卸载等机制)会改变捕获中的分段视角,qdisc(Linux 排队调度机制)的相对位置会影响“抓到”与“发出”的先后关系。镜像端口采集遗漏和协议加密也会限制观察。抓包 drop 为 0 只能说明相应采集统计没有报告丢弃,不证明整条路径完整;证据不足时,应明确候选范围,而不是猜测一个责任节点。
6. 从定界到干预、恢复与复盘
text
已完成的最早/最晚阶段:
原始错误与调用上下文:
候选边界及替代解释:
下一项低风险证伪动作:
版本、权限、采集完整性和隐私限制:
若假设成立/不成立的预期:
本次授权修改对象、恢复步骤与截止:
修复后错误率、阶段分布、队列及下游负载:先保存现场,再做一项可恢复干预,并提前写清假设成立与不成立时各自应看到什么。这样才能判断状态变化是否支持该假设。不要通过清空全机防火墙规则、连接跟踪(conntrack)、DNS 缓存或 ARP 表来验证,也不要在生产环境改变整个 qdisc;这些操作同时改变多个条件,既扩大影响,也容易抹去证据。
恢复后要同时观察错误率、阶段耗时分布、队列积压、资源回收与下游负载。缩短无效等待可能让请求更早被拒绝,因此“超时数变少”不一定意味着有效请求完成得更好。还应确认有效请求是否达到 SLO(服务质量目标),以及占用资源是否及时释放。
7. 导航与依据
确定候选边界后,用 21 的字段与观察点方法补证,再用 22 的单请求时间线和耗时分布分析原因。跨节点应用见云原生12,端到端依赖排查见分布式35;线程、连接池和下游任务排队需要各自的证据,不能统一归为链路问题。
- curl官方手册:预算、固定解析与计时字段,按本机版本核对。
- 命令选项与权限条件应以目标系统的
ip、ss、nc、tcpdump帮助及 JDK 附加权限要求为准。
排障检查点:找到最早未完成的边界,为下一项动作写清能排除什么解释,不将状态、异常或一次探测等同于根因。