外观
25 - 一次 Kubernetes 接口超时的完整排查:从 Ingress 到 JVM 与数据库
摘要
网关返回 504,应用方法只记录 30 ms,数据库 SQL 也只有 15 ms,剩余两秒到底去了哪里?排查的关键是把请求的等待时间和执行时间分开,而不是比较几个覆盖范围不同的耗时。本文按入口、服务转发、容器资源、应用线程和数据库逐层排查,为同一请求建立时间账本,再用至少两类证据检验根因假设。
1. 场景:所有组件都说自己不慢
线上告警:订单接口 P99 从 200 ms 升到 2.5 s,入口出现 504。各团队反馈:
- Ingress:上游响应超时;
- 应用:Controller 计时 30 ms;
- 数据库:SQL 执行 15 ms;
- 平台:Pod CPU、内存不到 50%;
- 网络:没有持续丢包告警。
P99 是按耗时排序后约 99% 的请求不超过的延迟,反映尾部请求的情况。上述信息并不互相矛盾:方法和 SQL 耗时测量不同的执行区间,CPU、内存比例描述资源状态,入口超时则描述代理等待后端的结果。比较前,要确认统计窗口、请求样本和资源百分比的分母一致。
先把请求链路理解为:客户端 → 入口代理 → 应用实例 → 数据库 → 响应返回。Ingress 声明 HTTP(S) 入口路由,由 Ingress Controller 实现实际代理;Service 提供稳定的服务访问抽象,Pod 是承载应用容器的运行单位,Node 是承载 Pod 的节点。入口代理如何选择和访问后端,取决于具体实现,不一定逐次经过 Service 的虚拟 IP。
请求到达应用后,可能先等线程,再等数据库连接,拿到资源后才开始执行。应用的 30 ms 是否包含这些等待,取决于计时起止点;数据库的 15 ms 通常无法覆盖客户端借连接和响应读取。CPU 平均值也可能掩盖短时 Throttling(CPU 配额耗尽后的节流)。因此,“执行很快”与“用户等待很久”可以同时成立,入口重试还可能延长总等待。
排障目标不是找一个“看起来异常”的图,而是回答:同一批失败请求的时间第一次在哪个边界异常增长。
2. 第一阶段:止损,但先保留现场
2.1 先确认影响面
记录:
text
开始时间、时区、当前是否持续
受影响 Cluster、Region、Zone、Node
Namespace、Workload、版本、Pod
Route、租户、状态码、失败比例
P50/P95/P99 和吞吐变化
最近发布、配置、扩缩容、节点与网络变更Cluster 是集群,Region 和 Zone 分别是地域与可用区;Namespace 是命名空间,Workload 是 Deployment 等工作负载,Route 是请求匹配的路由。P50/P95/P99 分别描述延迟分布的不同位置,吞吐描述单位时间处理的请求量。
先按这些维度切分失败比例和延迟。如果同一路由只影响新版本,优先关联发布差异;如果集中在单个节点或可用区,优先查共同资源和网络路径。这样能把全局告警缩小到可比较的实例集合。
2.2 选择低风险止损
可能措施:
- 暂停发布或自动扩缩容的继续动作;
- 从入口摘除明确异常实例/节点;
- 对非核心流量限流或降级;
- 回滚已确认有问题且具备兼容性的版本;
- 临时降低昂贵功能的并发。
扩副本、重启 Pod、调大线程池和连接池都不是无条件安全。它们可能清除现场、增加下游连接或放大重试。
2.3 重启前保存什么
以下 Bash 命令中的 POD、NS 等大写名称是占位符,应替换为目标环境的实际值。未指定 -n 的命令使用当前命名空间,执行前需确认 kubectl 上下文、命名空间和读取权限。
bash
kubectl get pod POD -o yaml
kubectl describe pod POD
kubectl logs POD --all-containers --timestamps
kubectl logs POD --all-containers --previous --timestamps
kubectl get events -n NS --sort-by=.metadata.creationTimestampget 保存对象配置与状态,describe 展示状态详情和相关事件,logs 保存容器日志;--previous 读取容器上一次运行的日志,能否读取取决于容器历史和日志保留情况。Events 的保留时间有限,应及时保存。
再保存对应时间窗口的 Metrics(指标)、Trace(调用链)、线程 Dump(线程状态与调用栈快照)、连接池快照和入口日志。命令输出可能含 Secret、Token 或业务数据,必须脱敏和限制访问。
3. 建立端到端时间账本
下面以一次后端处理尝试为例。时间账本不是把各层日志中的耗时直接相加,而是先定义每段的起止点,再找未被测量的等待。发生重试时,每次后端尝试都要单独记录;并行调用或流式响应也不能按串行区间简单求和。
图表将在阅读到此处时加载…
分段:
text
t1-t0:客户端网络与入口建连
t2-t1:入口处理、路由选择或等待上游
t3-t2:Ingress 到 Pod 的连接/传输
t4-t3:应用入口或线程池排队
t5-t4:业务开始执行至准备获取数据库连接
t6-t5:数据库连接获取与 SQL 发送前准备
t7-t6:SQL、锁、数据库执行和传输
t8-t7:结果处理和序列化
t9-t8:响应写回与代理读取
t10-t9:入口到客户端t5 到 t6 只能定位到“获取连接至发送 SQL”这一段,若要单独测量连接池等待,还需记录获取连接完成的时刻。结果读取、业务处理和序列化的位置也应按框架实际行为划分。
跨机器绝对时间可能有偏差。优先使用每个组件内部的单调时钟测量 duration(持续时间),避免系统时间调整影响计时;再用 Trace 中操作的父子关系关联请求。Trace 只覆盖已埋点的阶段,不会自动补齐排队时间。若必须比较时间戳,先确认 NTP(网络时间同步)状态。
4. 第二阶段:从入口确认错误生成者
先保留一个失败请求的:
text
Request ID / Trace ID
Host、Route、Method
状态码和响应头
入口 upstream address
connect time、header time、response time
retry/attempt 次数
客户端是否主动断开Request ID 用于关联请求日志,Trace ID 用于关联调用链;upstream 是代理访问的后端,attempt 是一次后端处理尝试,LB 是负载均衡器。先从响应和对应日志确认错误由哪一层生成:客户端看到 504,并不能单独证明应用生成了这个状态码。
不同 Ingress Controller 和云 LB 的字段、计时起点及超时语义不同。必须先确认产品与版本,再解释 502、503、504,以及各耗时是否包含前面的阶段。
在字段含义已确认的前提下,可按以下线索缩小范围:
- connect time 高:Pod 路由、监听、连接队列或网络;
- upstream header time 高:应用排队、业务或下游;
- response time 高但 header 正常:大响应、慢客户端、代理缓冲或写回;
- 多个 upstream address:结合 attempt 和重试日志确认是否发生重试;一次用户请求可能对应多次后端尝试。
5. 第三阶段:Service 与 Endpoint 是否一致
Endpoint 是服务后端的地址与端口,EndpointSlice 将这些端点及其状态组织成 Kubernetes 对象。Service 配置正确,只说明访问目标的声明正确;仍需核对当时的端点、代理选择结果和应用实际监听端口。
bash
kubectl get service SERVICE -o yaml
kubectl get endpointslice \
-l kubernetes.io/service-name=SERVICE \
-o yaml
kubectl get pod -l app=APP -o wide --show-labels核对:
- 失败 upstream IP 是否属于当时的 Pod;
- 该 Pod 当时是否 Ready、是否 Terminating;
- Service targetPort 是否匹配实际监听;
- 是否只集中在某个 Node/Zone/版本;
- Endpoint 更新与发布/Probe 失败是否同一时间。
Ready 表示就绪状态,Terminating 表示正在终止;Probe 是 Kubernetes 对容器执行的健康探测。端点状态与代理停止转发之间可能存在传播时间,因此要核对故障时刻,而不只看当前状态。
Pod 已被删除时,名称可能找不到,应通过集中日志、Trace Resource Attribute(调用链附带的实例属性)、审计记录和历史指标恢复 Pod UID、IP、Node 与版本关系。UID 是对象的唯一标识,可避免仅凭名称或复用的 IP 关联错实例。
6. 第四阶段:从相同网络位置复现
“我电脑上正常”只能说明另一条访问路径可用。尽量从与故障请求相同的 Namespace、Node、NetworkPolicy 身份或入口路径验证。NetworkPolicy 按 Pod、命名空间等条件约束流量,来源不同可能匹配不同规则。
下面的源容器需要已具备 curl,且允许访问目标服务;/health 是健康检查路径示例。它适合检查基础连通性,不能替代真实业务请求及其下游依赖。
bash
kubectl exec SOURCE_POD -- \
curl -sS -v --connect-timeout 2 --max-time 5 \
http://SERVICE:PORT/healthDNS 是域名解析,ClusterIP 是 Service 的集群内虚拟 IP,targetPort 是转发到后端的目标端口。分别测试以下路径,比较连通性与耗时:
text
Service DNS → ClusterIP
直接 Pod IP → targetPort
外部入口 → Ingress Route
下游 Service → 下游 Pod对比矩阵:
| Service | Pod IP | 外部入口 | 方向 |
|---|---|---|---|
| 失败 | 失败 | 失败 | Pod/应用/CNI |
| 失败 | 成功 | 失败 | Service 数据面 |
| 成功 | 成功 | 失败 | Ingress/LB/TLS |
| 偶发且按 Node 集中 | 不定 | 不定 | 节点局部网络/资源 |
矩阵中的 CNI 是配置 Pod 网络的接口及相关插件,Service 数据面是实际执行服务转发的机制,TLS 是传输加密协议。对比时应尽量保持请求内容、目标实例和时间窗口一致;访问 Pod IP 成功而 Service 失败,才有助于把差异收敛到服务转发路径。若两次请求落到不同实例,不能据此直接定责。
7. 第五阶段:Pod 与 cgroup 是否真的有余量
cgroup 是 Linux 对进程组进行资源统计和限制的机制。节点有空闲资源,不代表容器尚有可用配额;请求等待 CPU、内存回收或 I/O 时,也不一定表现为很高的平均 CPU。
7.1 CPU
查看:
bash
kubectl top pod POD --containerskubectl top 需要集群提供资源指标,适合查看近期使用量,不能单独证明请求没有遭遇节流。应结合故障窗口内 cgroup cpu.stat 的 nr_throttled(节流次数)、throttled_usec(节流时间)增量、Node Run Queue(等待 CPU 执行的任务队列)和 PSI(资源压力导致任务停顿的统计)。这里的字段名按 cgroup v2 描述,cgroup v1 的字段和单位需按环境核对。
CPU 带宽配额在周期内被耗尽后,任务可能等待下一周期才能继续执行。分钟平均值会平滑掉短时等待,因此平均 CPU 低不能排除周期内 Throttling;节流指标上升也需与慢请求对齐,才能支持其影响延迟的判断。
7.2 内存
检查 OOM(内存不足)、memory.events、memory.current、Heap(Java 堆)、Direct Memory(直接内存)、线程栈和 Page Cache(文件页缓存)。memory.events 与 memory.current 是 cgroup v2 接口,具体路径取决于容器的 cgroup 层级。
Java 堆只是容器内存的一部分。频繁回收或接近 limit(资源上限)可能先表现为延迟,而不是立即 OOM;但不能只凭“接近上限”确定根因,还需关联回收、分配或停顿证据。
7.3 Node
bash
kubectl describe node NODE
kubectl get pod -A -o wide --field-selector spec.nodeName=NODE观察 MemoryPressure(内存压力)、DiskPressure(磁盘压力)、PIDPressure(进程数压力)、Ready(节点就绪状态),以及节点上共同受影响的 Pod。单 Pod 指标正常但同 Node 多服务同时慢,优先查宿主机和网络,因为这些服务共享节点资源与部分网络路径。
8. 第六阶段:线程池与任务排队
应用方法计时常从线程开始执行后才记录。请求在 Web Server(Web 服务器)、事件循环或业务 Executor(任务执行器)中排队的时间可能完全缺失。线程池通过有限线程执行任务;当任务到达速度超过处理速度时,队列会增长,即使每个任务实际执行很快,排在队尾的请求仍可能超时。
要监控:
text
active threads
pool size / max size
queue size / capacity
rejected count
task queue wait duration
task execution duration上述指标分别覆盖正在执行的线程、池大小、队列占用、拒绝次数、排队耗时和执行耗时。要区分“执行慢导致排队”和“可用执行资源不足导致等待”,不能只看队列长度。
线程 Dump 可提供以下线索,但线程状态不是根因结论,还需结合调用栈和资源指标。RUNNABLE 表示可运行状态,BLOCKED 表示等待 Java Monitor(同步监视器)锁,WAITING/TIMED_WAITING 表示无限期或限时等待;Future 是异步结果对象,等待其完成也可能阻塞线程。
- 大量 RUNNABLE:可能 CPU 计算、系统调用或被 cgroup 节流;
- 大量 BLOCKED:Java Monitor 锁竞争;
- 大量 WAITING/TIMED_WAITING:可能连接池、Future、队列或定时等待;
- 多线程卡在相同下游调用:下游或客户端池问题。
抓 Dump 会有开销,连续多份比单份更能判断是否持续卡住。
反例:只调大业务线程池
更多线程会增加内存、上下文切换和下游并发。若瓶颈在数据库连接池,线程只会排在更深的位置。
正例:让队列有界并暴露等待时间
有界队列需要在执行器配置中单独设置容量和拒绝策略,避免任务无限积压。下面的 Java 局部片段只演示排队耗时埋点,依赖已有的 executor、metrics 和 handleRequest() 实现,不负责配置队列容量,也不记录被拒绝的任务。
java
long queuedAt = System.nanoTime();
executor.execute(() -> {
long queueMillis = java.time.Duration.ofNanos(
System.nanoTime() - queuedAt).toMillis();
metrics.recordQueueWait(queueMillis);
handleRequest();
});9. 第七阶段:连接池等待与 SQL 执行分开
连接池复用一组数据库连接。请求先借到连接,才能发送 SQL;连接被其他请求占用时,新请求会等待。因此 SQL 执行很快,并不代表整个数据库调用很快。
一次数据库调用至少拆为:
text
获取连接
→ 网络发送
→ 数据库排队/锁等待/执行
→ 结果传输
→ 应用反序列化
→ 归还连接重点指标:
- active(使用中连接)、idle(空闲连接)、pending(等待获取连接的请求);
- acquire duration(获取连接耗时);
- connection timeout(获取连接的超时配置或超时事件,按池实现区分);
- connection lifetime(连接生命周期)与 validation(有效性校验);
- 数据库当前连接、活跃会话、锁等待;
- SQL 执行与返回行数。
例如,应用日志“SQL 15 ms”可能只记录 Statement Execute(执行 SQL 调用),不包含借连接的 700 ms。应查看埋点边界,并分别记录获取连接、执行和读取结果的耗时;不能把 SQL 日志当作整个调用的耗时。
连接池耗尽常见根因:
- 慢 SQL/锁让连接长期占用;
- 事务范围过大;
- 连接泄漏;
- 下游数据库连接上限;
- HPA 扩容后总连接数暴增;
- 网络故障导致失效连接检测缓慢。
HPA 是按指标调整 Pod 副本数的自动扩缩容控制器。扩容后,每个实例都可能建立自己的连接池,使总连接需求增加。若数据库已经饱和,扩容应用可能进一步延长数据库处理时间,使连接占用更久,再反过来加重连接池等待。需要同时检查应用侧等待和数据库侧连接、会话与锁,区分池容量问题和下游处理问题。
10. 第八阶段:GC、Safepoint 与 JVM
JVM 是 Java 虚拟机,GC 是垃圾回收。Safepoint(安全点)是 JVM 执行某些操作时需要线程到达的安全状态;相关停顿不应全部归为 GC。Stop-The-World 表示应用线程被暂停,暂停期间请求不能继续处理,即使 CPU 使用率不高,也可能增加延迟。
检查:
Metaspace 是保存类元数据的内存区域,Native Memory 是本地内存,Direct Buffer 是直接缓冲区;JIT 是即时编译器,Code Cache 保存编译后的代码。检查项的可见性与诊断方法取决于 JDK 版本、收集器和已有诊断配置。
GC 日志里某次 20 ms Pause 不足以单独解释 2 s 延迟,必须对齐同一时间窗口和请求样本,并检查累计停顿、排队与资源竞争。停顿时间和用户端延迟也不能脱离请求经过的阶段直接相加。
11. 第九阶段:超时与重试是否互相放大
超时是某一操作允许等待的时长,Deadline 是请求必须完成的截止时间。下游调用和重试都应考虑剩余预算,而不是每次重新获得完整超时时长。下面是一组预算示例,不是各产品的默认值:
text
客户端 3 s
外部 LB 3 s
Ingress upstream 2.5 s
应用请求 2.2 s
数据库 1 s另一种配置中,如果入口在 2 s 超时,而应用下游配置 5 s,且取消没有传播到后端,客户端失败后后端仍可能继续占用资源。若 Client、Ingress 和应用各重试两次,一次初始尝试加两次重试在各层嵌套,请求数可能乘法放大;实际次数取决于重试条件、预算与取消行为。
重试会增加故障期间的负载,进而加重排队。应限制次数、检查剩余 Deadline,并确认操作的幂等性,即重复执行不会造成额外业务结果,避免超时后重试产生重复写入。
每次 attempt 应记录:目标实例、开始时间、超时、结果和剩余 Deadline。只记录最终成功会隐藏前两次失败。
12. 一个完整的故障树
按下面的树逐步缩小范围。每条分支列出的是候选原因;只有前一个边界有可靠的接收或计时证据,后一个边界的缺失才有定位价值。日志缺失本身不等于请求没有到达。
图表将在阅读到此处时加载…
13. 复盘必须留下什么
先把根因写成可检验的因果链,例如“连接长期占用 → 借连接等待增加 → 请求超时”,再关联同一窗口内的调用链、连接池指标和数据库状态。两张来自同一计时点的图并不构成独立证据;修复后还应在同类负载下观察等待是否下降、错误是否减少、下游压力是否可接受。
改进行动应对应已经发现的观测缺口或控制问题:
- 为线程池增加 queue wait 指标;
- 为数据库池增加 acquire Histogram 和 pending 告警;
- 入口日志记录 upstream address、attempt 和分段耗时;
- 给 Deployment 增加版本 Label 和优雅退出测试;
- 调整全链路 Deadline,而不是单点加长超时;
- 用故障演练验证 Node、DNS、数据库慢和发布场景;
- 把临时止损命令转化为自动保护策略。
Histogram 是按耗时区间计数的直方图,可用于观察获取连接的延迟分布。版本 Label 是对象标签,便于按发布版本关联故障;优雅退出测试则检查实例停止接收新请求后,在途请求是否能够完成。每个行动项还应明确负责方和验收条件。
“加强监控”“提高稳定性”不是可验收行动项。
14. 容易踩的坑
14.1 重启恢复就停止排查
重启只清空了队列、连接或内存状态,根因可能继续存在。
14.2 平均值正常就排除资源
P99、队列、Throttling 和单 Node 异常都会被平均掩盖。
14.3 应用 30 ms 就认定网络慢
还缺少线程排队、连接池和响应写回时间。
14.4 只看最终一次重试
一次用户请求可能已制造多个失败 attempt。
14.5 同时修改多个参数
无法知道哪个动作有效,还可能改变故障形态。每次变更都应有假设、指标和回退。
15. 总结
云原生超时排查的核心,是为同一请求建立完整时间账本,并找到延迟第一次异常增长的边界。
可以带走的三个核心要点:
- 先固定 Request ID、Pod、Node、版本和时间窗口,再比较各层分段耗时。
- 方法执行、SQL 执行和 Pod CPU 都可能正常,真正瓶颈常在队列、连接池或代理重试。
- 根因必须由至少两类证据交叉支持,修复后还要用同类负载与故障场景复验。
下一篇:云原生高频面试题:用底层机制推导答案。