外观
01 - 服务容器化后反而更不稳定:一次请求穿过云原生系统的完整链路
摘要
服务搬进 Kubernetes 后,为什么 Pod 都在运行,接口却仍会返回 503?关键在于区分两件事:集群是否把应用运行起来,以及请求是否能被应用正确处理。本文先建立请求链路与部署链路的基本模型,再通过最小实验观察它们如何协作,最后给出分层排障的方法。
1. 场景引入:Pod 都是 Running,为什么用户仍收到 503
先看一个订单服务从虚拟机迁移到 Kubernetes 的场景。Kubernetes 是管理容器化应用的平台;Pod 是它调度应用的基本单位,可以包含一个或多个容器。下面的状态输出展示了“容器在运行”的表象:
text
$ kubectl get pods
NAME READY STATUS RESTARTS AGE
order-api-6d8f7d6b8b-4x7qk 1/1 Running 0 3h
order-api-6d8f7d6b8b-m9c2p 1/1 Running 0 3h但用户仍会偶发收到 503 Service Unavailable。团队先后做了几件事:
- 重启 Pod,错误率短暂下降;
- 把副本从 2 个扩到 6 个,故障频率没有明显变化;
- 查看应用日志,没有发现对应请求;
- 检查 Pod CPU 和内存,均未达到 limit;
- 在自己电脑上访问接口,暂时无法复现。
这些检查分别覆盖了部分状态,却没有验证一次失败请求的完整路径。Running 描述 Pod 的运行阶段,不等于应用能够正确处理请求。READY 为 1/1 表示一个容器被标记为就绪;配置了 Readiness Probe(就绪探针)时,探针结果会参与这一判断。它不能自动证明数据库、线程池、连接池和所有业务路径都健康。
更关键的是,用户请求与 Kubernetes 的资源管理并不是同一条链路。排查前必须先把两条链分开:
- Data Plane(数据面):真正承载业务请求和响应的数据路径;
- Control Plane(控制面):保存期望状态并驱动集群收敛的管理路径。“收敛”指实际状态逐步接近期望状态,例如把缺少的副本补齐。
用户在数据面收到 503,但原因可能来自请求处理,也可能来自控制状态尚未落实,例如新 Pod 还没有就绪。控制面负责管理 Pod,数据面负责把请求送到可用后端。排障时既要确认资源状态,也要确认这些状态是否已经反映到实际转发路径。
2. 先建立全景:一次请求和一次部署是两条链
2.1 请求链路:数据真正从哪里走
DNS 把域名解析为地址;负载均衡器把请求分配给后端;Ingress 定义按域名、路径等匹配请求的入口规则,Ingress Controller 则负责落实规则并处理入口流量。Node 是承载 Pod 的工作节点。以下以入口代理通过 Service 虚拟地址访问 Pod 的部署为例,实线表示业务请求路径,虚线表示解析或后端发现关系:
图表将在阅读到此处时加载…
Service 为一组后端提供稳定的访问入口。这里使用的是带 ClusterIP(集群内虚拟 IP)和选择器的 Service:Pod 上的 Label 是键值标签,Label Selector(标签选择器)用标签匹配后端。Endpoint 是后端地址与端口;EndpointSlice 是保存这些地址及其状态的 API 对象,不是接收业务请求的代理。Pod 更换 IP 后,客户端仍可使用同一个 Service 入口,前提是后端信息和转发规则及时更新。
具体转发可能由 kube-proxy 管理的 iptables/IPVS 规则,或具备 Service 转发能力的 eBPF 数据面实现。iptables/IPVS 是 Linux 的包处理和负载均衡机制;eBPF 可用于在内核中执行网络处理程序。实现取决于集群版本、发行版和网络插件。一些 Ingress Controller 会直接连接发现的 Pod 后端,因此 Service 虚拟地址并非所有入口请求的必经点。
Pod 的网络命名空间为容器提供网络接口、路由和端口等视图;线程池复用处理请求的线程,连接池复用数据库等下游连接。请求到达应用后,如果池中的可用资源耗尽,仍可能排队或失败。
沿这条入口链路,访问失败至少可能来自:
- DNS 没解析到预期地址;
- 外部负载均衡没有可用后端;
- Ingress 路由、TLS(传输层安全协议)或上游连接失败;
- Service Selector 没选中 Pod;
- EndpointSlice 尚未包含可用 Pod;
- 节点转发规则或 CNI(Container Network Interface,容器网络接口)异常;
- Pod 端口没有监听,或监听地址错误;
- 应用线程池、连接池或下游已经饱和;
- 响应返回途中被代理超时或连接断开。
应用日志里没有请求,只能说明请求可能没有到达日志记录点,不能直接证明“网络有问题”。它还可能在 Ingress、Service、Pod 接收队列、应用线程池入口之前失败。
2.2 部署链路:YAML 如何变成一个运行中的 Pod
Deployment 声明应用的 Pod 模板、副本数与发布策略;ReplicaSet 负责维持指定数量的 Pod。执行 kubectl apply -f deployment.yaml 时,命令行客户端 kubectl 向 API Server 提交资源声明,不会直接联系 Node 创建进程。Watch 表示订阅对象变化;Admission(准入)是在资源请求进入持久化等后续处理前实施的检查或修改环节。简化后的控制链路是:
图表将在阅读到此处时加载…
各组件的职责如下:
- API Server:Kubernetes API 的统一入口,负责校验和处理资源请求;
- etcd:保存集群 API 状态的分布式键值存储;
- Controller:持续比较期望状态与实际状态,并尝试消除差异的控制器;
- Scheduler:为尚未绑定节点的 Pod 选择 Node;
- Kubelet:运行在节点上的代理程序,负责落实分配到本节点的 Pod 配置;
- Container Runtime:通过 CRI(Container Runtime Interface,容器运行时接口)被 Kubelet 调用,负责镜像和容器生命周期。图中的 Sandbox 是为 Pod 准备的运行环境。
这里没有一个“总指挥”执行完所有步骤。各组件通过 API 对象协作,并允许短时间不一致。理解这一点,才能理解为什么刚创建 Service 时 Endpoint 可能暂时为空、删除 Pod 后新 Pod 不会瞬间可用,以及控制面正常并不等于请求数据面正常。
3. 云原生的核心不是容器,而是声明式控制
3.1 Spec 与 Status:想要什么,以及现在是什么
Kubernetes 对象通常同时表达两类信息:
spec:用户声明的期望状态,例如 Deployment 需要 3 个副本;status:系统观察到的实际状态,例如当前有 2 个可用副本。
下面只保留和本文有关的字段:
yaml
apiVersion: apps/v1
kind: Deployment
metadata:
name: order-api
spec:
replicas: 3 # 期望存在 3 个副本
selector:
matchLabels:
app: order-api
template:
metadata:
labels:
app: order-api
spec:
containers:
- name: app
image: nginx:1.27-alpine
ports:
- containerPort: 80对于这份声明,ReplicaSet 控制器发现受管理的 Pod 数量不足时,会尝试补齐副本。创建 Pod 对象不等于副本已经可用:它还需要完成调度、镜像拉取、容器启动和就绪检查。控制循环会继续观察这些结果,而不是执行一次创建命令就结束。
这个过程通常被称为 Reconcile Loop(调谐循环):
text
读取期望状态 → 观察实际状态 → 计算差异 → 执行动作 → 再次观察它带来两个直接后果:
- 手工删除某个由 Deployment 管理的 Pod,控制器会创建替代者;
- 手工修改容器可写层中的文件,不会更新 Deployment 的期望状态,Pod 重建后这些修改会丢失;挂载持久卷中的数据则取决于卷的生命周期。
3.2 最终一致不等于“迟早一定成功”
控制循环通常以最终收敛为目标,但前提是约束允许它成功。例如:
- 没有节点满足 Pod 的资源
requests(调度时使用的资源请求量); - 镜像地址不存在或没有拉取权限;
- PVC(PersistentVolumeClaim,持久卷声明)无法绑定存储;
- Admission Webhook(通过外部 HTTP 服务执行准入检查的机制)持续拒绝请求;
- Readiness Probe 永远失败。
这时控制器会持续重试或保持等待,系统并不会因为“声明式”而自动解决错误配置。
因此线上看到状态长期不收敛时,不要只重复 apply。应检查对象的 status.conditions(状态条件)、Events(集群事件)、关联资源以及负责该阶段的控制组件。
4. Running、Ready 与 Available 到底分别说明什么
这三个词经常被混用,但它们位于不同层次。
| 状态 | 大致含义 | 不能证明什么 |
|---|---|---|
Pod Running | Pod 已绑定节点,且至少一个容器正在运行、启动或重启 | 应用能正确接流量 |
Container Ready | 容器就绪条件为真,通常意味着 Readiness Probe 通过 | 所有业务依赖都健康 |
Deployment Available | 可用副本达到控制器计算出的条件 | 每次请求都成功、P99(第 99 百分位延迟)正常 |
具体条件和时间窗口可能随 Kubernetes 版本、工作负载字段与探针配置变化。线上判断应查看目标集群版本的官方文档和对象实际 status,不要只背状态名称。
例如,一个没有配置 Readiness Probe 的 HTTP 容器,在进程启动后可能很快被标记为 Ready,但应用内部仍可能正在加载缓存或建立数据库连接。反过来,把数据库查询直接放进 Liveness Probe(存活探针),数据库短暂抖动又可能触发应用容器集体重启。
这说明 Probe 不是“越全面越安全”,而是要准确表达边界:
- Startup Probe(启动探针):应用是否已经完成慢启动;
- Readiness Probe:当前是否应该接收新流量;
- Liveness Probe:进程是否已进入只能靠重启恢复的失活状态。
三类探针会在第 8 篇展开。
5. 最小实战:亲眼观察请求数据面和控制面
下面实验需要可用的 Kubernetes 集群、kubectl、创建和删除示例资源的权限,以及能够拉取示例镜像的节点。命令按 Bash 语法书写,应用与客户端 Pod 应位于同一命名空间,且集群 DNS 和网络策略需允许示例访问。建议使用本地测试集群,不要直接在生产集群执行。示例使用稳定的 apps/v1 Deployment 和 v1 Service API;命令输出细节会随 Kubernetes 版本和发行版变化。
5.1 创建最小应用
保存为 cloud-native-path-demo.yaml:
yaml
apiVersion: apps/v1
kind: Deployment
metadata:
name: path-demo
labels:
app: path-demo
spec:
replicas: 2
selector:
matchLabels:
app: path-demo
template:
metadata:
labels:
app: path-demo
spec:
containers:
- name: web
image: nginx:1.27-alpine
ports:
- name: http
containerPort: 80
readinessProbe:
httpGet:
path: /
port: http
periodSeconds: 2
timeoutSeconds: 1
resources:
requests:
cpu: 10m
memory: 16Mi
limits:
memory: 64Mi
---
apiVersion: v1
kind: Service
metadata:
name: path-demo
spec:
selector:
app: path-demo
ports:
- name: http
port: 80
targetPort: http这份配置用 app: path-demo 把 Pod 模板与 Service 选择器关联起来。Service 的 port: 80 是访问入口,targetPort: http 对应容器中名为 http 的端口。就绪探针定期访问 /,检查这一条 HTTP 路径能否响应,并不覆盖所有业务依赖。
镜像 tag(标签)是可变名称,固定标签也可能在仓库中被重新指向不同镜像。要求严格可重复时,应从可信仓库确认镜像 Digest(内容摘要),并按摘要固定镜像。
执行:
bash
kubectl apply -f cloud-native-path-demo.yaml
kubectl rollout status deployment/path-demo
kubectl get pods -l app=path-demo -o wide
kubectl get service path-demo
kubectl get endpointslice -l kubernetes.io/service-name=path-demo预期观察到的是:
- Deployment 的发布状态;
- Pod 被调度到哪些 Node、获得哪些 Pod IP;
- Service 的稳定虚拟地址和端口;
- EndpointSlice 中的后端地址;是否可用于普通流量还需查看其就绪条件。
如果 Pod 是 Running,但 EndpointSlice 没有地址,应优先检查:
bash
kubectl get pods -l app=path-demo --show-labels
kubectl describe pod -l app=path-demo
kubectl get endpointslice -l kubernetes.io/service-name=path-demo -o yaml重点比较 Service Selector 与 Pod Labels,并检查 Pod Ready Condition。EndpointSlice 有地址也不代表地址已就绪,应同时查看 conditions.ready。不要一上来重启 kube-proxy 或网络插件。
5.2 从集群内部访问 Service
启动一个临时 curl Pod:
bash
kubectl run path-client \
--image=curlimages/curl:8.12.1 \
--restart=Never \
--command -- sleep 3600
kubectl wait --for=condition=Ready pod/path-client --timeout=60s
kubectl exec path-client -- curl -sS -D- http://path-demo/如果镜像 tag 在仓库中不存在,或环境无法访问该仓库,需要替换为组织已审核、包含 curl 和 sleep 命令的镜像。
预期响应包含 HTTP 成功状态和 nginx 默认页面。这次访问使用集群 DNS 解析 Service 名称,绕过了外部域名解析、云负载均衡和 Ingress。若同一时段集群内请求成功而外部请求失败,应优先检查入口链路,同时确认两次测试访问的是相同业务路径和后端。偶发故障不能被一次成功请求排除。
若从同一个客户端访问 Pod IP 成功、访问 Service 失败,应重点调查 Service、EndpointSlice 和转发数据面;若只有 Service 域名失败,还需检查集群 DNS。
在允许直接访问 Pod IP 的网络模型中,可先取地址再测试:
bash
kubectl get pod -l app=path-demo -o wide
# 把下面地址替换成实际 Pod IP;该测试是否可行取决于执行位置和集群网络。
kubectl exec path-client -- curl -sS http://10.0.0.42/5.3 删除 Pod,观察控制循环
先持续观察资源:
bash
kubectl get pods -l app=path-demo -w在另一个终端触发删除。下面命令会删除所有同时匹配标签和 Running 阶段的 Pod,可能让两个副本一起退出:
bash
kubectl delete pod -l app=path-demo --field-selector=status.phase=Running --wait=false若只想观察一个副本被替换,尤其是在共享测试环境中,应先取得明确的 Pod 名,再删除该单个 Pod:
bash
kubectl get pods -l app=path-demo
kubectl delete pod path-demo-请替换为实际名称预期会看到旧 Pod 进入终止流程,新 Pod 由 ReplicaSet 控制器创建。这里不是“Pod 自己重生”,而是控制器发现实际副本少于期望副本后创建替代对象。
同时观察 EndpointSlice:
bash
kubectl get endpointslice \
-l kubernetes.io/service-name=path-demo \
-w新 Pod 只有在满足就绪条件后才应成为可用 Endpoint。旧 Pod 的终止、就绪状态变化、Endpoint 更新和代理数据面收敛并非一个不可分割的原子操作,因此无损发布还需要应用优雅退出、连接排空和合理的发布参数。
实验结束后清理:
bash
kubectl delete -f cloud-native-path-demo.yaml
kubectl delete pod path-client --ignore-not-found6. 反例与正例:从“看状态”升级为“验证链路”
6.1 反例:看到 Running 就关闭告警
bash
kubectl get pods这个命令适合获得概览,但它回答不了:
- Service 是否选中了正确 Pod;
- Endpoint 是否 Ready;
- 应用端口是否真的监听;
- 请求是否在 Ingress 或连接池排队;
- 某个 Node 是否存在局部网络故障;
- 失败请求命中了哪个 Pod、哪个版本。
6.2 正例:围绕同一请求建立证据链
一次 503 至少要回答:
text
谁生成了 503?
请求到达了哪一跳?
该跳选择了哪个上游?
上游当时是否在 Endpoint 中?
Pod 是否 Ready,应用端口是否监听?
应用是否收到请求,是否在资源池中等待?
响应在哪一跳消失或变成错误?下面沿资源关系逐层检查。命令使用第 5 节的资源;若已清理实验,需要先重新创建应用和 path-client。线上排障时则替换为实际命名空间、名称和标签:
bash
# 1. 查看工作负载是否收敛
kubectl get deployment path-demo
kubectl rollout status deployment/path-demo
# 2. 查看 Pod、IP、Node、Ready 状态和版本标签
kubectl get pods -l app=path-demo -o wide --show-labels
# 3. 查看 Service 选择器与端口映射
kubectl get service path-demo -o yaml
# 4. 查看实际后端地址及其就绪条件
kubectl get endpointslice \
-l kubernetes.io/service-name=path-demo \
-o yaml
# 5. 查看事件、探针失败、拉取镜像或挂载异常
kubectl describe pod -l app=path-demo
# 6. 从同一网络位置发起请求
kubectl exec path-client -- curl -v http://path-demo/curl -v 可能输出请求头和响应头。生产排障时要避免暴露 Authorization、Cookie 等敏感信息,日志和终端记录也应遵循组织的脱敏规范。
如果故障只发生在某个 Node,可以把 Pod IP、Node 和失败请求关联起来。若只有落到同一节点的 Pod 失败,应优先检查该节点的 CNI、路由、Conntrack(内核连接跟踪)、Service 转发实现和宿主机资源,并对照各 Pod 的配置与负载差异。节点相关性是调查线索,还不能单独排除应用问题。
7. 一次 503 应该如何分层定位
503 只是一种 HTTP 状态码,必须先确认由谁返回。响应头、响应体样式、Ingress Access Log、云负载均衡日志和应用日志都可以帮助确认生成者。
图表将在阅读到此处时加载…
图中按入口到应用排列排查分支;若日志已经确认 503 的生成者,可以直接检查对应层。NetworkPolicy 是约束 Pod 网络通信的策略。每个判断都应该有证据:
| 判断 | 可用证据 |
|---|---|
| 503 由谁生成 | Server 等响应头、响应体、各层 Access Log |
| Ingress 是否找到上游 | Controller 日志、upstream 地址、upstream 状态 |
| Service 是否有后端 | EndpointSlice 地址和 Ready Condition |
| Pod 是否收到请求 | 应用入口日志、Trace Span(分布式追踪中一次操作的记录)、网络抓包 |
| 是否排队或资源耗尽 | 线程池队列、等待连接的请求数(pending)、CPU 配额限流(Throttling)、垃圾回收(GC) |
| 是否为节点局部故障 | Pod IP 与 Node 维度的成功率对比 |
注意:不同 Ingress Controller 对 502、503、504 的定义和日志字段可能不同;云厂商负载均衡也可能自定义响应。具体行为必须以所用产品、版本和实际日志为准,响应头也可能被代理改写,应与日志相互印证,不能仅靠状态码定责。
8. 容易踩的坑
8.1 坑一:把 Pod 当成虚拟机
手工进入 Pod 改配置、安装工具、清理日志,看似快速,实际修改通常位于容器可写层,不会进入声明式配置。Pod 被替换后修改就消失,也难以审计和复现。
正确做法是把镜像、配置、资源和发布策略纳入可版本化的声明;临时诊断工具可使用 Ephemeral Container(临时容器)等机制,但其可用性与权限要求依集群版本和策略而定。
8.2 坑二:把扩副本当成通用修复
如果瓶颈在共享数据库、外部 API、锁或节点网络,扩 Pod 可能没有效果,甚至会建立更多连接、放大重试和下游压力。扩容前应先判断瓶颈是否能通过并行实例缓解。
8.3 坑三:Service Selector 写错却只查网络
Selector 与 Label 不匹配时,Service 可以正常创建,也能获得 ClusterIP,但 EndpointSlice 可能没有业务后端。此时调内核参数、重启 CNI 都偏离了证据。
8.4 坑四:只看控制面对象,不做真实请求
Deployment Available、Pod Ready、Endpoint 存在,仍不能证明应用业务路径正确。健康检查可能只访问 /health,真实接口还要等待数据库连接或执行复杂逻辑。应从故障发生的网络位置验证真实协议和端口。
8.5 坑五:为了排障先重启
重启可能暂时清空队列、释放连接或把流量迁移到其他节点,同时销毁线程、Socket 和内存现场。需要止损时可以重启,但应尽量先保存 Events、日志、指标、Pod/Node 对应关系和必要的诊断快照。
8.6 坑六:认为 Kubernetes 会自动实现高可用
Kubernetes 能够检测部分状态并重建工作负载,但应用仍需正确处理超时、幂等(重复执行不产生额外业务效果)、优雅终止、连接排空、状态持久化和跨故障域部署(把副本分散到不同节点或可用区,降低共同失效的风险)。错误的探针或资源配置还可能让自动化持续放大故障。
9. 进阶:云原生排障的四张图
后续文章会反复使用四个视角:
- 请求链路图:请求经过哪些代理、虚拟服务、Pod 和下游;
- 控制链路图:哪个控制器观察什么对象,谁负责推动状态收敛;
- 资源链路图:CPU、内存、线程、连接、磁盘和网络队列在哪里受限;
- 证据链图:日志、指标、Trace(分布式追踪)、Events、Socket(网络套接字)状态和抓包如何相互验证。
例如“Pod 重启”只是现象:
- 请求链路要判断重启是否影响正在处理的流量;
- 控制链路要判断是 Kubelet、控制器还是人工动作触发替换;
- 资源链路要区分进程异常、Probe 失败、OOM(内存不足)和节点驱逐;
- 证据链要结合 Last State(容器上次终止状态)、Exit Code(退出码)、Events、Kernel(内核)日志和应用日志。
只会背 kubectl 命令很难应对组合故障。真正稳定的方法是先判断问题位于哪张图、哪个边界,再选择能够证伪假设的命令。
10. 版本与事实边界
- 本文使用的 Deployment
apps/v1、Servicev1和 EndpointSlicediscovery.k8s.io/v1均是稳定 API,但字段细节和命令输出仍应以目标集群版本为准。 - Service 转发实现并不固定为 iptables。IPVS、nftables 或 eBPF 等实现取决于 Kubernetes 版本、发行版、kube-proxy 配置和 CNI 产品;目标环境的真实实现需要现场验证。
- 容器运行时可能是 containerd、CRI-O 或其他 CRI 实现。现代 Kubernetes 不要求 Docker Engine 作为运行时,具体节点配置应通过集群和节点信息确认。
- 收敛时间和重试行为受组件版本与配置影响,没有适用于所有集群的统一值。示例中的探针周期、超时和资源值是实验配置,涉及生产判断时必须读取实际配置和对应版本文档。
11. 总结
云原生故障定位的第一步,是把承载请求的数据面与驱动状态收敛的控制面分开,再用 Endpoint、日志和真实请求把两条链重新对齐。
可以带走的三个核心要点:
Running、Ready和业务可用不是同一件事,状态只能证明其定义范围内的事实。- Service 是稳定访问抽象,真正后端来自 EndpointSlice;排查转发问题必须同时核对 Selector、Pod Ready 和实际地址。
- Kubernetes 通过声明式 API 与控制循环推动最终收敛,但无法替应用自动解决容量、超时、幂等和优雅退出问题。
下一篇:容器不是轻量虚拟机:进程隔离、镜像与资源限制的真实边界。