外观
12 - Pod 之间如何通信:CNI、Veth、路由与跨节点网络
摘要
同一节点的 Pod 可以通信,跨节点却频繁超时,为什么重启应用无效?一次 Pod 请求需要先离开自己的网络环境,再由节点转发到目标 Pod;跨节点时,还要经过节点之间的网络。CNI 插件负责配置这条路径,路径上的路由、策略或报文大小限制出问题,应用重启通常无法解决。本文先解释 Pod 如何连接节点,再说明跨节点传输与 MTU,最后给出最小实验和排障方法。
1. 场景:同节点正常,跨节点请求超时
某集群升级网络插件后出现:
- Node A 上的 Pod 互相访问正常;
- Node A 到 Node B 的 Pod 小包偶尔成功;
- HTTPS 请求和大响应大量超时;
- Service 与 Pod IP 都受影响;
- 应用日志没有异常。
这个场景中的原因是 Overlay(在底层网络之上构建的逻辑网络)隧道增加报文头后,报文超过底层路径的 MTU(最大传输单元),而 Pod MTU 未正确下调。小包仍能通过,大包可能被丢弃,进而触发 TCP 重传。
这些症状可以提示 MTU 问题,却不能单独证明原因。Service 最终也要把请求送到后端 Pod,因此 Pod 之间的路径故障可能同时影响 Service 访问。要定位丢包位置,先看 Pod 的网卡如何连接节点。
2. Pod Network Namespace 与 Veth Pair
Network Namespace(网络命名空间)是 Linux 隔离网络资源的机制:不同命名空间可以有各自的网卡、IP 地址、路由表、邻居表和 Socket(应用收发网络数据的接口)。普通 Pod 通常拥有独立的网络命名空间;同一 Pod 内的容器共享它,因此可以通过 localhost 通信,也共享端口空间。使用 hostNetwork 的 Pod 则共享宿主机网络,不能套用独立命名空间的模型。
隔离只决定“能看到哪些网络资源”,并不会自动建立对外连接。常见做法是使用 Veth Pair(虚拟以太网设备对):从一端发出的帧会到达另一端。一端放进 Pod 网络命名空间,常命名为 eth0;另一端留在宿主机网络命名空间,接入节点的转发路径。
应用向目标 Pod IP 发包时,Pod 内的路由决定从哪个接口发出;报文经过 Veth 到达宿主机后,再由节点转发。下图展示的是常见 Veth 模型下的跨节点出站路径,并非所有插件都采用这种接口结构。
图表将在阅读到此处时加载…
3. CNI 做什么,不做什么
CNI(Container Network Interface,容器网络接口)是一套网络插件接口规范。在采用 CNI 的运行时中,创建 Pod Sandbox(承载 Pod 共享运行环境的沙箱)时会调用插件,传入网络命名空间、接口名和配置。插件及其配套组件通常负责:
- 创建或移动接口;
- 分配 Pod IP;
- 配置 Namespace 内路由;
- 配置宿主机侧路由、Bridge、隧道或 eBPF 状态;
- 删除 Pod 时回收配置。
ADD 是建立网络连接的插件操作,删除连接时则通过 DEL 清理。配置完成后,数据包通常由 Linux 内核中的路由、Bridge(网桥)、隧道、iptables(包过滤与地址转换规则)或 eBPF 程序处理。eBPF 可以在内核处理挂点执行程序,具体网络功能由插件实现。
负责建立和更新配置的部分称为控制面,实际处理报文的部分称为数据面。CNI 不是持续代理每个网络包的中央服务:已有连接转发正常而新 Pod 无法配置网络,与所有跨节点报文都失败,指向的故障环节可能不同。
4. 同节点通信
常见实现之一是将两个 Pod 的宿主机 Veth 接入 Linux Bridge。网桥按以太网帧的目标 MAC 地址转发,把来自 Pod A 的帧送到 Pod B 对应的接口;这条同节点路径不需要经过节点之间的物理网络。
图表将在阅读到此处时加载…
另一些实现按目标 IP 路由,或使用 eBPF 处理转发,不一定存在 Bridge。在目标 Linux 节点上,可用以下只读命令查看接口、路由及网桥端口:
bash
ip link
ip route
bridge link看到的接口名、路由和设备结构依 CNI 而异。
5. 跨节点通信的两类思路
5.1 Underlay 或路由模式
Underlay 指实际承载流量的底层网络。在直接路由模式中,节点和相关底层路由设备需要知道目标 Pod 网段的下一跳,才能把包送到承载目标 Pod 的节点。网络插件可以通过 BGP(用于交换路由信息的协议)等方式发布路由。
这种方式少一层隧道封装;代价是底层网络需要支持相应的 Pod 路由,并管理路由数量和更新。只有 Node IP 互通,并不能证明 Pod 网段的路由也正确。
5.2 Overlay 隧道
Overlay 隧道把原始 Pod 数据包封装在外层包中,通过 Node 网络传输。VXLAN(Virtual Extensible LAN,虚拟扩展局域网)是其中一种方式,它用 UDP 承载内层以太网帧。下面以 VXLAN 中承载 HTTP/TCP 流量为例:
text
外层 Ethernet/IP/UDP/VXLAN
└─ 内层 Ethernet/IP/TCP/HTTP源 Node 根据目标 Pod 所在位置选择隧道对端。对底层网络而言,外层 IP 的通信双方是 Node IP;到目标 Node 后解封装,再交付目标 Pod。因此,内层 Pod IP 路径正确仍不够,外层节点路径和隧道协议也必须可达。
具体封装开销依 IPv4/IPv6、协议和实现变化,不能统一写死为某个字节数。应读取 CNI 配置并抓包验证。
6. MTU 为什么导致“小包通,大包不通”
MTU(Maximum Transmission Unit,最大传输单元)限制接口可承载的单个链路层负载大小。在以太网上,IP 包需要放进这个负载范围,不能把 MTU 当作应用数据长度。假设底层路径可承载的 IP 包最大为 1500 字节,Pod 仍发送 1500 字节的内层 IP 包,隧道封装加入内层以太网头及外层协议头后,外层 IP 包就可能超过限制。
IPv4 包在允许分片时可能被拆分;设置 DF(Don't Fragment,禁止分片)时,无法转发过大报文的路由器需要返回相应的 ICMP 差错信息。IPv6 的中间路由器不对转发包分片,而是通过 ICMPv6 Packet Too Big 通知发送端。
Path MTU Discovery(路径 MTU 发现,简称 PMTUD)借助这些信息,让发送端适应整条路径的大小限制。如果相关差错报文被防火墙丢弃,发送端可能持续发送过大的包,形成 PMTU Black Hole(路径 MTU 黑洞)。连接建立时的报文较小,可能成功;传输大响应时才开始反复丢包和重传。具体是否分片、在哪里丢弃,还取决于隧道配置与实际路径。
在发生问题的网络命名空间中检查接口和选路,并以不同报文大小进行对照。以下 TARGET_IP 是目标 IP 占位符:
bash
ip link show
ip route get TARGET_IP
ping -M do -s 1400 TARGET_IPping -M 是 Linux iputils 行为,其他系统参数不同。-M do 用于禁止分片的探测,-s 1400 指 ICMP 数据长度,不是完整 IP 包大小;还需计入 IP 和 ICMP 头。单次成功不能确定全路径 MTU,失败也可能来自 ICMP 策略限制,因此要结合报文大小变化、差错报文和 TCP 业务测试判断。
7. 最小实验:手工连接两个 Network Namespace
以下实验仅连接同一 Linux 测试机中的两个网络命名空间,用来理解隔离与 Veth,不包含 CNI 调用、跨节点路由或 Overlay。需要 iproute2、ping 和 root 权限;命令通过 sudo 执行。开始前确认 ns-a、ns-b、veth-a、veth-b 未被占用,且示例地址不与测试环境冲突。
bash
sudo ip netns add ns-a
sudo ip netns add ns-b
sudo ip link add veth-a type veth peer name veth-b
sudo ip link set veth-a netns ns-a
sudo ip link set veth-b netns ns-b
sudo ip -n ns-a addr add 10.200.1.1/24 dev veth-a
sudo ip -n ns-b addr add 10.200.1.2/24 dev veth-b
sudo ip -n ns-a link set lo up
sudo ip -n ns-b link set lo up
sudo ip -n ns-a link set veth-a up
sudo ip -n ns-b link set veth-b up
sudo ip netns exec ns-a ping -c 3 10.200.1.2预期输出:在接口配置成功且测试环境没有阻断 ICMP 的条件下,ping 收到来自 10.200.1.2 的回复;具体时延取决于环境,不用于性能比较。
两端地址同属 10.200.1.0/24 子网,配置地址时会建立相应的直连路由。Veth 两端直接处于同一个二层链路,因此无需 Bridge 或默认网关即可通信。启动接口后,源端可通过 ARP 查询目标地址对应的 MAC 地址,再发送以太网帧。观察地址、路由和邻居表:
bash
sudo ip -n ns-a address
sudo ip -n ns-a route
sudo ip -n ns-a neigh预期现象:地址表包含 10.200.1.1/24,路由表包含通过 veth-a 的直连子网路由;通信后邻居表可出现 10.200.1.2 对应的记录,其状态会随时间变化。
清理前确认名称只属于本实验,并确保没有进程仍在使用这些命名空间:
bash
ip netns list
sudo ip netns delete ns-a
sudo ip netns delete ns-b当网络命名空间不再被进程等对象引用并释放时,其中的 Veth 端会被清理,配对端也随之删除。对共享环境执行前必须核对目标名称。
8. 跨节点排障要固定五元组和方向
五元组指源 IP、源端口、目标 IP、目标端口和传输层协议,用来区分具体网络流。“Pod 不通”信息不足;除了五元组,还要记录节点、时间和方向:
text
源 Pod IP、源 Node
目标 Pod IP、目标 Node
协议与目标端口
失败时间和比例
同节点、跨节点是否有差异
请求方向与返回方向然后逐跳检查:
图表将在阅读到此处时加载…
从同一个源 Pod 复现失败,在源端和目标端对照抓包,再按需要增加中间观察点,可缩小报文丢失的范围。以下是过滤指定 Pod IP 与 8080 端口的示例,POD_IP 需替换,执行需要抓包权限:
bash
tcpdump -i any -nn host POD_IP and port 8080抓包可能包含敏感数据,必须限制范围和留存权限,观察完成后按 Ctrl+C 停止。这个过滤条件适合观察内层 Pod 流量,不能据此认定外层隧道包不存在;Overlay 场景还要按 Node IP 和实际隧道协议另行观察外层流量。请求与返回方向都要检查:目标收到请求而源端收不到响应时,应继续查返回路径。
9. 路由、邻居与反向路径
路由表决定目标 IP 的下一跳和出口;邻居表记录同一链路上 IP 与链路层地址的对应关系。先查“往哪里发”,再查“能否交给下一跳”。以下为 Linux 只读命令,TARGET_IP 需替换;在宿主机运行只能看到宿主机网络视图,检查 Pod 的监听端口应进入其网络环境:
bash
ip address
ip route
ip route get TARGET_IP
ip neigh
ss -lntp结合这些信息,可以按路径检查以下问题:
- Pod CIDR 路由缺失或指向错误节点;
- Veth 一端 Down;
- ARP/ND 邻居解析失败;
- 反向路径过滤丢弃非对称路由流量;
- NetworkPolicy/eBPF Policy 拒绝;
- Conntrack 表压力;
- Node 防火墙未放行隧道协议或端口;
- MTU 不一致。
CIDR 是用地址和前缀长度表示网段的方式,Pod CIDR 指分配给 Pod 的地址范围。ARP 用于 IPv4 的邻居解析,ND(邻居发现)用于 IPv6。反向路径过滤会按配置检查源地址的回程路由,非对称路径可能因此被拒绝;rp_filter 是 Linux IPv4 的相关设置。NetworkPolicy 是 Pod 网络访问策略,其执行能力与位置依赖插件;Conntrack(连接跟踪)则维护流的状态,表容量压力可能影响新连接。
修改 rp_filter、防火墙或 MTU 都可能影响整节点流量,必须先用路由和抓包证据确认,不应作为试错命令。
10. 反例与正例
反例:只在宿主机 curl Pod IP
宿主机与业务 Pod 的路由、策略和源地址可能不同,宿主机成功不能证明源 Pod 成功。
正例:从相同网络身份复现
在有相应 kubectl exec 权限的测试环境中,从源 Pod 发起请求。以下名称和地址均为占位符;源容器需有 curl,目标应用需监听可通过 Pod IP 访问的 8080 端口。--connect-timeout 2 限制连接阶段的等待时间,并不限制整个响应耗时:
bash
kubectl exec SOURCE_POD -- curl -v --connect-timeout 2 http://TARGET_POD_IP:8080/如果业务镜像没有 curl,可使用受控诊断 Pod,并对齐 Kubernetes 命名空间、Node、ServiceAccount(工作负载身份)和 NetworkPolicy 选择条件。这里的 Kubernetes 命名空间是 API 资源的分组,不是第 2 节的 Linux 网络命名空间。独立诊断 Pod 仍有不同的 Pod IP,插件还可能使用其他身份或策略条件,所以即使上述条件相同,也要核对是否覆盖了业务请求的实际路径。
11. 容易踩的坑
11.1 Ping 通就宣布 Pod 网络正常
ICMP、TCP 端口和策略可能不同,业务协议还涉及连接和应用响应。
11.2 同节点成功就排除 CNI
跨节点才会经过底层路由或 Overlay,恰恰可能只在该路径失败。
11.3 直接把 Pod MTU 改成 1500
应根据底层路径可承载的大小,扣除按同一层级计算的真实封装开销,设置能适应全路径的 Pod MTU;不能只看某一块网卡的 1500。
11.4 只抓一端包
单端抓包只反映该观察点看到了什么。双端和双方向对照能缩小故障范围,精确定位中间丢失位置还可能需要增加观察点。
11.5 重启网络插件作为第一步
可能破坏现场或扩大影响。先保存 CNI 日志、接口、路由、eBPF/iptables 状态和抓包。
12. 版本与实现边界
- CNI 规范只定义插件交互,不规定必须使用 Bridge、VXLAN 或 BGP。
- Pod 网络实现、NetworkPolicy 执行点、Service 替代能力取决于具体 CNI 版本与配置。
- Linux 命令和字段以目标发行版、Kernel、iproute2 版本为准;Windows Node 网络模型需单独讨论。
13. 总结
Pod 网络是 Network Namespace、Veth、节点路由和跨节点传输共同组成的路径,CNI 负责配置它,而不是替每个数据包做代理。
可以带走的三个核心要点:
- 同一 Pod 容器共享网络 Namespace,Pod eth0 常通过 Veth 连接宿主机数据面。
- 跨节点通信可能走直接路由或 Overlay;只有跨节点失败时,应优先检查隧道、路由和 MTU。
- 网络定责要固定源、目标、Node、协议和方向,并用双端抓包寻找数据包首次消失的位置。
下一篇:域名偶发解析失败:CoreDNS、DNS 搜索域与 ndots。