外观
11 - Service 有 ClusterIP,流量到底去了哪里:EndpointSlice 与转发数据面
摘要
Service 名称能解析、ClusterIP 也存在,为什么请求仍然被拒绝(Connection Refused)?IP 存在只说明入口已定义,不代表后端可用。理解这条链路,要先分清三件事:Service 定义访问入口,EndpointSlice 记录后端,数据面执行转发。本文沿着这条链路解释连接如何到达 Pod,再用最小实验观察 Selector 错误与修复后的变化。
1. 场景:Service 有 IP,却没有任何进程监听它
例如,查看一个名为 order-api 的 Service:
bash
kubectl get service order-apiClusterIP 是 Service 在集群内提供的虚拟 IP。即使登录每台 Node(工作节点),也未必能找到监听这个 IP 和端口的进程:应用监听的是后端 Pod 的端口,而 ClusterIP 通常由转发机制处理,不要求用户态进程在该地址调用 listen()。
数据面指实际处理、转发流量的机制;控制面则负责维护对象状态并下发转发配置。数据面把访问 ClusterIP 的流量导向某个后端 Pod,具体实现取决于集群。
常见实现是 kube-proxy:它根据 Service 和后端信息维护节点上的转发规则,Linux 节点可使用 iptables、IPVS 或 nftables 等模式。它们分别提供包过滤与地址转换、IP 虚拟服务器、规则处理等内核能力。另一些集群由 CNI 网络插件的 eBPF 数据面替代相关功能;CNI 是容器网络接口规范,eBPF 是在内核中运行受限程序的一种机制。可用模式与功能取决于 Kubernetes、内核及插件版本,排查前应确认实际实现。
2. Service、EndpointSlice 和 Pod 的关系
Pod 是承载应用容器的运行单元,Pod IP 是访问它的网络地址。副本重建后,Pod IP 可能变化;客户端通过稳定的 Service 入口访问,就不必把某个 Pod IP 写死。一个 Endpoint(后端端点)可以先理解为一个可供转发的地址和端口,EndpointSlice 则把这些端点分组记录。
下面区分配置更新与实际流量:虚线表示数据面读取配置,实线表示客户端流量。EndpointSlice 是 API 对象,不是请求必须经过的代理。
图表将在阅读到此处时加载…
Service 的 spec(期望配置)主要定义:
selector(选择器):按 Label(标签,即键值对)匹配 Pod;port:客户端访问 Service 的端口;targetPort:要转发到的后端端口号或 Pod 中声明的端口名称;type:如集群内入口 ClusterIP、节点端口入口 NodePort、对接外部负载均衡的 LoadBalancer。
EndpointSlice 保存后端地址、端口和 conditions(端点状态条件),其中 ready 用来表达端点是否就绪。把大量后端分成多个 Slice,可以避免总在一个大对象中更新全部地址。现代集群通常使用 EndpointSlice;旧 Endpoints 对象是否仍用于兼容,要结合集群版本和使用它的组件判断。
这里讨论带 selector 的普通 Service。Service 对象存在、EndpointSlice 有地址、应用能够响应,是三个不同层次的事实,不能互相替代。
2.1 Selector 不是持续转发查询
API Server 是 Kubernetes 对象的访问入口。带选择器的 Service 由控制器根据 Pod 标签和状态维护 EndpointSlice,kube-proxy 或替代组件再读取这些信息,更新数据面规则。数据包使用已下发的规则,不会每次到 API Server 查询标签。
Pod 的 Ready 状态表示它是否就绪,readiness probe(就绪探针)可参与决定这个状态。状态变化需要依次传播到 EndpointSlice 和数据面,因此不是瞬时生效。判断后端可用性还要结合 publishNotReadyAddresses、端点终止状态及实际数据面行为;不能只凭一个地址出现在列表里就认定它会接收新连接。
3. 一次 ClusterIP 请求的简化路径
NAT(Network Address Translation,网络地址转换)会改写数据包中的地址或端口。以下以常见 NAT 数据面为例,假设 Service 的 port 为 80、后端 targetPort 为 8080,且已有可用后端:
text
客户端 connect(ClusterIP:80)
→ 数据包进入节点网络栈
→ Service 规则选择 Endpoint
→ DNAT 为 PodIP:8080
→ 路由到本机或远端 Pod
→ 返回流量经 Conntrack 做反向转换DNAT(Destination Network Address Translation,目标地址转换)把目标从 ClusterIP:80 改为选中的 PodIP:8080,后续路由负责把包送到那个 Pod。Conntrack(连接跟踪)记录连接状态及相关 NAT 映射,使同一 TCP 连接的后续包沿用一致转换;返回方向按映射反向转换,让客户端仍以 Service 地址作为通信对端。
具体 Hook(网络栈中的处理挂点)、规则链名称和后端选择算法随实现变化。eBPF 数据面可能不经过传统 iptables 链,看到“iptables 没规则”不能直接判定 Service 失效。
4. 为什么 Service 不会按每个 HTTP 请求轮询
Service 数据面通常按连接或流选择后端,而不是解析每个 HTTP 请求再轮询 Pod。HTTP/1.1 Keep-Alive(连接复用)允许多个请求共用一条 TCP 连接;HTTP/2 可以在一条连接中承载多个请求流,gRPC 也常借助 HTTP/2 复用连接。只要这些请求使用同一条 TCP 连接,它们就可能长期落在同一 Pod。
图表将在阅读到此处时加载…
图中后续请求仍经过同一数据面,只是省略了重复的转发步骤。新增副本会增加可选后端,却不会把已建立的 TCP 连接自动迁移过去。新连接才有机会选择新 Pod,也不保证短时间内请求数均匀;最终分布取决于客户端连接池、连接寿命、协议和代理层。
5. 最小实验:Selector 错误如何造成空 Service
在 Kubernetes 测试集群中操作,需要 kubectl、当前命名空间内管理 Deployment、Service、Pod 和查看 EndpointSlice 的权限。节点需能拉取下列镜像,集群 DNS 和 Pod 网络需可用。确认 service-demo 与 service-client 不与现有资源重名;创建和清理均在同一命名空间进行。
以下命令按 Bash 语法编写。将清单保存为 service-demo.yaml:Deployment 管理两个 nginx 副本,Pod 标签为 app: service-demo,Service 故意使用不匹配的标签。这个实验观察后端发现与修复,不测量长连接的负载分布。
yaml
apiVersion: apps/v1
kind: Deployment
metadata:
name: service-demo
spec:
replicas: 2
selector:
matchLabels: {app: service-demo}
template:
metadata:
labels: {app: service-demo}
spec:
containers:
- name: web
image: nginx:1.27-alpine
ports:
- name: http
containerPort: 80
---
apiVersion: v1
kind: Service
metadata:
name: service-demo
spec:
selector:
app: wrong-label
ports:
- port: 80
targetPort: httpbash
kubectl apply -f service-demo.yaml
kubectl get service service-demo
kubectl get endpointslice -l kubernetes.io/service-name=service-demo -o yaml预期现象:Service 已分配 ClusterIP,但由于选择器匹配不到这些 Pod,关联的 EndpointSlice 中没有它们的后端地址。空后端时,访问可能被拒绝或超时,具体表现取决于数据面;不能用一种报错反推唯一原因。
修复 Selector:
bash
kubectl patch service service-demo \
--type merge \
-p '{"spec":{"selector":{"app":"service-demo"}}}'
kubectl get endpointslice \
-l kubernetes.io/service-name=service-demo \
-w预期现象:Pod 启动并就绪后,EndpointSlice 出现相应的 Pod IP,命名端口 http 解析为 80。此清单未配置应用级就绪探针,就绪状态不能代替业务健康检查。观察到变化后按 Ctrl+C 退出 -w 持续观察,再继续执行。
PowerShell 不能直接照搬 Bash 的反斜杠续行,JSON 引号处理也可能不同;可编辑清单中的 Service Selector 后重新 kubectl apply。随后从同一命名空间内的临时客户端测试:
bash
kubectl run service-client --image=curlimages/curl:8.12.1 \
--restart=Never --command -- sleep 3600
kubectl wait --for=condition=Ready pod/service-client --timeout=60s
kubectl exec service-client -- curl -sS http://service-demo/预期输出:在镜像启动、DNS 解析、后端与规则更新均正常且网络策略允许访问时,curl 输出 nginx 默认页面的 HTML。若客户端 Ready 等待超时,先排查 Pod 状态;若 curl 失败,再按第 9 节分层定位。
清理本实验资源:
bash
kubectl delete deployment,service service-demo
kubectl delete pod service-client --ignore-not-found镜像版本使用前应在组织镜像仓库中验证。
6. targetPort 为什么经常配错
以下是 Service 清单中的端口配置片段:
yaml
ports:
- port: 80
targetPort: 8080Service port 是客户端访问端口,targetPort 是 Pod 接收端口。containerPort 主要是声明和命名信息,本身不让应用自动监听。
常见故障原因包括端口错误,也包括会产生相似现象的监听、网络与就绪问题:
- 应用实际监听 8081,targetPort 写 8080;
- 应用只监听
127.0.0.1,Pod IP 无法访问; - targetPort 使用名称,但 Pod 端口名称拼写不同;
- NetworkPolicy(Pod 网络访问策略)拒绝客户端到 Pod 端口;
- Readiness(就绪检查)失败,导致后端在通常的就绪筛选下不可用。
验证监听端口应在 Pod 网络环境执行。精简镜像没有 ss 时,可用临时容器或抓包,不要依赖 containerPort 猜测。
7. Headless Service 有什么不同
在 Service 的 spec 中设置:
yaml
clusterIP: NoneHeadless Service(无头服务)不分配普通 ClusterIP。对于带选择器的无头服务,DNS 通常返回后端地址,客户端直接选择并连接后端,因而不再依靠普通 ClusterIP 入口做负载均衡。它常用于 StatefulSet(管理有稳定身份的有状态副本)、客户端负载均衡或服务发现。客户端需要处理多个地址、连接和后端失效后的更新;无选择器时的地址维护与 DNS 行为还需结合配置判断。
DNS 缓存会影响后端变更速度;JVM、语言运行时和客户端库还可能有独立 DNS 缓存策略。
8. Session Affinity 与 External Traffic Policy
Session Affinity(会话亲和性)可以通过 sessionAffinity: ClientIP 配置,让来自同一可见客户端 IP 的连接倾向于同一个后端。它按网络源地址建立关联,不存储登录状态等业务 Session,也不是业务会话的可靠持久化机制。NAT 和代理可能使多个客户端呈现同一个源 IP;连接复用也会影响流量分布。
externalTrafficPolicy(外部流量策略)用于 NodePort/LoadBalancer 等外部入口,会影响源地址保留、跨节点转发和健康检查。Local 可减少某些跨节点跳转并保留源地址,但接收流量的节点只使用本地可用 Endpoint;入口没有本地可用后端时,不能指望它转发到其他节点兜底。外部负载均衡需要配合选择可接收流量的节点,本地后端容量分布不均时也可能出现倾斜。具体云负载均衡行为必须按供应商验证。
9. 排查顺序
先固定源 Pod、命名空间、目标地址与端口,以及失败时间。尽量从同一源 Pod 对比 Service 与 Pod IP:宿主机和业务 Pod 的路由、源地址及策略可能不同,跨环境的成功结果不能直接对照。使用 ClusterIP 直接访问时可跳过 DNS 分支。
图表将在阅读到此处时加载…
图中的 CoreDNS 是集群 DNS 服务,搜索域影响短名称的补全,Policy 指网络访问策略。先判断名称是否指向正确入口,再判断有没有可用后端;后端直连成功而 ClusterIP 失败,才更集中地指向 Service 数据面,但仍需核对两次请求的来源与端口是否一致。
以下是只读排查命令,SERVICE、NAME、POD 均为占位符。app=NAME 仅适用于使用该标签的工作负载,应按实际 Service Selector 替换;检查就绪条件时可进一步查看 EndpointSlice 的完整 YAML:
bash
kubectl get service SERVICE -o yaml
kubectl get endpointslice -l kubernetes.io/service-name=SERVICE -o wide
kubectl get pods -l app=NAME -o wide --show-labels
kubectl describe pod POD10. 容易踩的坑
10.1 去 Node 查谁监听 ClusterIP
ClusterIP 通常由内核数据面实现,不对应用户态监听进程。
10.2 Endpoint 存在就证明应用健康
它只反映就绪条件与控制状态,业务线程池仍可能饱和。
10.3 扩容后期待旧连接自动均衡
长连接可能继续固定到旧 Pod,需要客户端连接生命周期配合。
10.4 直接清空 Conntrack
这是高风险节点操作,会影响大量现有连接。应先确认表容量、冲突和具体流量证据。
10.5 把 kube-proxy 当唯一实现
eBPF CNI 可能替代其部分或全部功能,排障必须先识别真实数据面。
11. 总结
Service 是稳定访问规则,EndpointSlice 才记录真实后端,节点数据面负责把连接转发到 Pod。
可以带走的三个核心要点:
- ClusterIP 通常没有进程监听;流量由 iptables、IPVS、nftables 或 eBPF 等数据面处理。
- Selector、Pod Ready 与 EndpointSlice 是排查 Service 无后端的第一证据链。
- Service 多按连接转发,HTTP/2、gRPC 等长连接会让扩容后的流量继续不均。
下一篇:Pod 之间如何通信:CNI、Veth、Bridge 与跨节点网络。