外观
15 - NetworkPolicy 配了却没有生效:选择器、方向与 CNI 执行边界
摘要
希望禁止访问数据库,策略创建成功后却仍能连通;希望收紧应用的出站访问,却连域名也解析不了。这两类问题需要沿同一条链路检查:策略选中了谁、限制哪个方向、允许哪些连接,以及网络插件是否真正执行了规则。本文先解释这个基本模型,再通过默认拒绝与逐步放行的实验说明排障方法。
1. 场景:同一份策略,一边不拦截,一边把服务全封了
NetworkPolicy 是 Kubernetes 中描述 Pod 网络访问规则的 API 资源。Pod 是运行容器的工作负载单元;API Server 接收和保存策略对象,但不会亲自拦截报文。真正执行规则的是支持网络策略的网络插件或数据面,也就是实际处理报文的部分。
CNI(Container Network Interface,容器网络接口)是配置容器网络的标准接口。排障时常说的“CNI 插件”指集群采用的网络实现;是否支持 NetworkPolicy、是否启用了策略功能,都要按具体产品和配置确认。
因此可能出现:
- 集群 CNI 不支持 NetworkPolicy:对象创建成功,但这份策略不会限制流量;
- CNI 支持并执行策略:Egress(出站)默认拒绝生效,但没有放行 DNS(域名解析服务),需要通过 DNS 查询的域名便无法正常解析。
“YAML apply 成功”不能证明网络规则已经执行。
2. 策略先选择 Pod,再定义允许流量
Namespace(命名空间)用于组织 Kubernetes 资源;Label(标签)是资源上的键值标记,Selector(选择器)按这些标记匹配对象。读一份策略时,先看 metadata.namespace 和 spec.podSelector,确定它管理哪些 Pod,再看 policyTypes,确定隔离哪些方向,最后看允许规则。
下面以 shop 命名空间中的数据库为例:
yaml
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: allow-api-to-db
namespace: shop
spec:
podSelector:
matchLabels:
app: database
policyTypes: [Ingress]
ingress:
- from:
- podSelector:
matchLabels:
app: api
ports:
- protocol: TCP
port: 5432这表示:在 shop 命名空间中选中标签为 app=database 的 Pod,对它们的 Ingress(入站)方向建立隔离,并允许同命名空间内 app=api 的 Pod 访问 TCP 5432。spec.podSelector 选择受策略管理的 Pod,ingress.from 中的选择器则选择允许访问它们的来源,两者的职责不同。
标准 NetworkPolicy 用“选中后在指定方向建立隔离,再合并允许规则”的模型工作,不是逐条写显式拒绝规则。如果没有其他入站策略提供放行路径,未匹配上述来源和端口的入站连接就不会被允许;如果另有策略放行,还要一起计算。它也不会因为限制数据库入站,就自动限制数据库的出站访问。
3. Ingress 和 Egress 是目标 Pod 的两个方向
方向始终相对于被策略选中的 Pod。客户端发往服务器的同一条连接,对客户端是 Egress,对服务器是 Ingress;这里的 Ingress 指流量方向,不是用于 HTTP 路由的 Ingress 资源。
图表将在阅读到此处时加载…
从网络策略角度看,一次连接需要检查两侧:
- 源 Pod 的 Egress 允许;
- 目标 Pod 的 Ingress 允许;
有状态数据面会跟踪连接,把返回流量识别为已允许连接的一部分。排查时要区分新建连接与已有连接的报文;策略更新对已有连接的影响可能依实现而异。即使两侧策略都允许,路由、监听端口和应用状态等问题仍可能导致连接失败。
策略只隔离被 spec.podSelector 选中的 Pod。未被任何相应方向策略选中的 Pod,在标准 NetworkPolicy 模型中该方向保持非隔离状态;这不等于集群中的其他网络控制也一定允许访问。
4. 多条策略如何组合
在标准 NetworkPolicy 模型中,同一 Pod 的同一方向被多条策略选中时,允许规则取并集:任意一条策略提供允许路径,该方向就允许这条连接。
text
允许集合 = Policy A 允许 ∪ Policy B 允许 ∪ ...没有“最后一条生效”的防火墙顺序语义。要撤销访问,必须删除或修改所有提供该允许路径的策略。
因此,添加一条没有允许规则的“默认拒绝”策略,不会抵消已有策略的放行。它建立隔离,但不会从其他策略的允许集合中减去连接。
Ingress 与 Egress 独立计算。添加一条 Egress Policy 不会自动改变 Ingress。
5. Selector 组合最容易写错的地方
以下讨论 ingress.from 中的来源选择器;egress.to 中的目的地选择器遵循相同的组合思路。示例中的 from 是规则片段,需要放入完整策略的 ingress 列表项中。
5.1 只有 podSelector
只写 podSelector 时,匹配策略所在命名空间内符合 Pod 标签条件的 Pod,不会跨命名空间查找同名标签。
5.2 只有 namespaceSelector
只写 namespaceSelector 时,匹配带指定命名空间标签的命名空间中的 Pod。这里检查的是 Namespace 对象的标签,不是 Pod 标签。
5.3 同一个 from 元素内同时出现
yaml
from:
- namespaceSelector:
matchLabels: {tenant: shop}
podSelector:
matchLabels: {role: client}两个条件取交集(AND):Pod 所在的命名空间带有 tenant=shop,且 Pod 自身带有 role=client。两种选择器位于同一个 - 列表项内,共同限定一组来源。
5.4 两个 from 元素
yaml
from:
- namespaceSelector:
matchLabels: {tenant: shop}
- podSelector:
matchLabels: {role: client}两个列表项取并集(OR):允许带有 tenant=shop 的命名空间中的所有 Pod,或者策略所在命名空间中带有 role=client 的 Pod。增加第二个 - 后,两种条件不再共同约束同一组来源,因此可能显著扩大授权范围。
6. 最小实验:默认拒绝后逐步放行
实验需要支持 networking.k8s.io/v1 的测试集群、支持并启用 NetworkPolicy 的网络实现、kubectl 和相应资源操作权限。集群需能拉取以下两个镜像,policy-demo 名称应未被使用,也应排除其他策略对实验流量的干扰。命令采用 Bash 语法。
创建命名空间和两个 Pod,并通过 Service 访问服务器。Service 为后端提供稳定的访问名称和入口;这里的 server 名称依赖集群 DNS 解析:
bash
kubectl create namespace policy-demo
kubectl -n policy-demo run server --image=nginx:1.27-alpine \
--labels app=server
kubectl -n policy-demo run client --image=curlimages/curl:8.12.1 \
--labels app=client --command -- sleep 3600
kubectl -n policy-demo expose pod server --port=80
kubectl -n policy-demo wait --for=condition=Ready pod/server pod/client --timeout=60s
kubectl -n policy-demo exec client -- curl -sS http://server/预期结果:Pod 就绪且 DNS、Service 和网络路径正常时,第一次 curl 返回 NGINX 页面。先取得这条成功基线,才能把后续失败与策略变化关联起来。
将下面的 YAML 保存为策略文件,并用 kubectl apply -f <策略文件路径> 应用到测试集群。它选中服务器的入站方向,却没有提供任何入站允许规则,因此建立 Ingress 默认拒绝:
yaml
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: deny-server-ingress
namespace: policy-demo
spec:
podSelector:
matchLabels: {app: server}
policyTypes: [Ingress]策略下发后,重复前面的 curl,用新连接检查结果。预期结果:若 CNI 正确执行策略,且没有其他放行路径,访问失败。失败可能表现为等待或超时,不能要求统一的错误文本;此处命令未设置最大等待时间,长时间等待时可手动中断。
随后将下面的 YAML 保存为另一个策略文件并应用。保留默认拒绝策略,同时增加允许 client 访问 TCP 80 的规则:
yaml
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: allow-client
namespace: policy-demo
spec:
podSelector:
matchLabels: {app: server}
policyTypes: [Ingress]
ingress:
- from:
- podSelector:
matchLabels: {app: client}
ports:
- {protocol: TCP, port: 80}重复同一条 curl。预期结果:允许策略生效后,客户端重新取得页面。这说明允许规则与默认拒绝策略按并集组合,而不是后创建的策略覆盖前一条。
若默认拒绝后仍可访问,先确认目标标签、策略方向和其他放行策略,再确认使用了新连接,并检查 CNI 是否支持与启用策略。若添加允许规则后仍失败,则沿客户端出站、DNS、Service 后端和服务器入站分别检查。
实验完成后清理。下面的命令会删除 policy-demo 命名空间及其中的全部资源,因此只用于本实验创建的命名空间:
bash
kubectl delete namespace policy-demo7. 为什么 Egress 默认拒绝会先破坏 DNS
应用通过 database.shop.svc 访问数据库时,需要先把名称解析为 IP。需要 DNS 查询时,客户端通常向 DNS 服务的 UDP/TCP 53 端口发送请求,再向解析出的地址建立数据库连接。这是两条不同用途的网络访问:只放行数据库端口,不会同时放行 DNS。
下面是 spec.egress 的放行片段,需放入选中客户端 Pod、隔离 Egress 方向的完整策略中:
yaml
egress:
- to:
- namespaceSelector:
matchLabels:
kubernetes.io/metadata.name: kube-system
ports:
- {protocol: UDP, port: 53}
- {protocol: TCP, port: 53}这条规则按命名空间选择目的地,没有进一步限定 DNS Pod 标签,因此可能过宽,也可能不匹配实际 DNS 路径。NodeLocal DNS 是部署在节点本地的 DNS 缓存,应用的查询可能先到 Service 虚拟 IP,也可能先到节点本地地址。策略在 Service 地址转换前还是转换后匹配,取决于 CNI 和实际数据路径。应从受限制的客户端 Pod 所在网络上下文观察真实 DNS 流量,并结合插件文档确定放行对象,不能直接把这段配置当作所有集群通用的 DNS 规则。
8. IPBlock 的边界
ipBlock 可以按 CIDR(地址与前缀长度表示的网段)允许地址。NAT 是网络地址转换,SNAT 是其中修改源地址的方式;NodePort 则通过节点端口提供 Service 入口。流量经过云负载均衡、NodePort、代理或 SNAT 后,目标 Pod 看到的源地址可能不再是原始客户端 IP。
因此,按 IP 编写规则前,要确定策略执行点看到的是转换前还是转换后的地址。客户端认为自己使用的地址,未必就是规则实际匹配的地址。
不要用 ipBlock 表达容易变化的外部域名白名单。FQDN 指完整域名,标准 NetworkPolicy 不按 FQDN 匹配;把域名当前解析出的 IP 写进规则,也不能保证后续地址变化时继续正确。部分 CNI 提供域名策略扩展,但属于产品特性,需要单独处理 DNS TTL(缓存有效期)、地址更新和解析失败时的行为。
9. 排查证据链
图表将在阅读到此处时加载…
先记录连接的源 Pod、目的地址、协议、端口和失败时间,再沿图检查。对于“本应拒绝却连通”,重点寻找遗漏的选择条件或其他允许路径;对于“本应允许却失败”,还要检查源出站与目标入站两侧,并排除 DNS、路由和应用监听问题。
以下命令用于只读检查,POLICY 和 NS 分别替换为实际策略名和命名空间名:
bash
kubectl get networkpolicy -A
kubectl get networkpolicy POLICY -n NS -o yaml
kubectl get pod -n NS --show-labels
kubectl get namespace --show-labels将策略的选择器与实际 Pod、Namespace 标签逐项对照,并汇总同一方向上的所有允许规则。API 对象只能说明声明了什么;要证明数据面执行了什么,还需插件策略状态、日志或抓包证据。
eBPF 是在内核中运行受约束程序的机制,iptables 是 Linux 的报文过滤与规则管理工具。CNI 是否使用它们、如何查看策略状态和拒绝日志,都依产品而异,应按实际插件的版本和文档操作。
10. 反例与正例
反例:直接在生产 Namespace 上默认拒绝
未经依赖盘点就隔离整个生产命名空间,可能阻断 DNS、监控、日志、Webhook(回调请求)、健康检查和控制流量。具体影响哪些连接,取决于被选中的 Pod、隔离方向、已有允许规则和实际访问路径;业务端口放行并不代表这些依赖也已放行。
正例:先观测,再分阶段收紧
text
盘点真实连接
→ 为系统依赖建立允许规则
→ 在测试 Namespace 验证
→ 只隔离一个方向或一组 Pod
→ 监控拒绝和业务错误
→ 扩大覆盖范围每一步都应同时验证允许路径仍可用、应拒绝的新连接确实失败。仅观察业务暂时没有报错,不能证明策略已经覆盖预期流量。
11. 容易踩的坑
11.1 认为存在 Policy 就默认拒绝所有 Pod
先对照实际标签确认选中了哪些 Pod,再检查 policyTypes;对象存在本身不能说明隔离范围。
11.2 忽略多策略取并集
排查时列出同一方向的全部策略,寻找宽泛的来源、目的地或端口规则。只查看名称带有“deny”的策略容易遗漏允许路径。
11.3 只测已有长连接
Conntrack(连接跟踪)用于记录连接状态。策略更新对已有连接及其跟踪记录的处理依实现,应分别观察已有连接与新建连接,不能用长连接仍可通信证明新策略无效。
11.4 忘记 DNS 和监控流量
将域名解析、指标采集、日志发送等依赖纳入测试矩阵,并区分连接方向,避免只测试业务请求。
11.5 把 API 支持等同于 CNI 支持
确认插件能力和启用配置,再用允许与拒绝的对照测试检查执行结果;apply 成功只完成了策略声明这一步。
12. 总结
NetworkPolicy 是选择目标 Pod 后定义允许集合的 API,真正执行者是 CNI 数据面。
可以带走的三个核心要点:
- Ingress 与 Egress 独立,源和目标两侧都可能需要允许。
- 多条策略按允许集合并集组合,没有传统防火墙的先后覆盖顺序。
- 默认拒绝必须先处理 DNS、监控和控制流量,并在目标 CNI 上实测。
下一篇:Pod 重建后数据为什么丢了:Volume、PV、PVC 与 CSI。