外观
24 - Pod CPU、内存都正常,接口为什么仍然慢:云原生可观测性体系
摘要
接口延迟升高,Pod CPU、内存却都正常,往往是因为资源使用率和请求等待时间测量的是不同问题。本文先解释如何用指标、日志、调用链和 Kubernetes 事件观察系统,再按节点、Pod、容器和应用定位异常,最后介绍如何用 OpenTelemetry 把请求与实例、版本及资源等待关联起来。
1. 场景:每一层都“正常”,用户为什么超时
接口超时期间:
- Node CPU 40%;
- Pod CPU 30%;
- Java Heap 55%;
- 数据库 SQL 执行 20 ms;
- 应用方法计时 30 ms;
- 用户端总耗时 2 s。
这些数字不能直接相加,也不能相互否定:CPU 和堆内存比例描述资源状态,SQL 与应用方法计时只覆盖各自的执行区间,用户端耗时则覆盖整个请求过程。比较前还要确认它们对应同一时间窗口和请求样本,以及资源百分比使用的统计口径。
缺失的可能是连接池等待、线程池排队、DNS(域名解析)、代理重试、CPU Throttling(CPU 配额耗尽后的节流)、响应写回或某个局部 Node(节点)的问题。请求等待连接或线程时,未必正在消耗大量 CPU;业务方法开始计时前的排队,也不会出现在方法耗时里。因此,资源使用率正常不等于没有等待。
Observability(可观测性)不是“装了监控”,而是能否从系统外部信号推断内部状态,并用证据缩小未知问题。
2. 四类信号各回答什么
| 信号 | 擅长回答 | 局限 |
|---|---|---|
| Metrics(指标):按时间记录的数值,如请求数、队列长度 | 是否异常、影响多大、趋势如何 | 上下文有限,聚合会丢细节 |
| Logs(日志):某个时刻发生的事件记录 | 某事件发生了什么 | 搜索成本高,记录可能缺失 |
| Traces(调用链):关联一次请求经过的操作及其耗时 | 一次请求在哪一段耗时 | 采样与上下文传播可能断裂 |
| Events(Kubernetes 事件):与对象相关的状态变化或异常记录 | Kubernetes 对象发生了什么 | 保留有限,不是永久审计日志 |
四者不是互相替代:Metrics 发现异常,Trace 找慢段,Logs 解释事件,Events 说明调度、探针或挂载变化。
一条 Trace 通常由多个 Span 组成。Span 表示一个有起止时间的操作,例如处理 HTTP 请求或调用数据库;父子关系说明这些操作如何关联。Trace ID 标识整条调用链,Span ID 标识其中一个操作。只有相关阶段被埋点,即被记录为观测数据,Trace 才能展示这些阶段的耗时。
3. 四层观测模型
四类信号回答“拿什么证据”,四层模型回答“证据来自哪里”。Node 是承载 Pod 的节点;Pod 是 Kubernetes 调度和管理的一组容器;Container 是运行应用进程的容器;Application 是进程内部的业务和运行时。下面的图表示从基础资源到应用的观察层次,不表示请求必然依次经过这四层。
图表将在阅读到此处时加载…
3.1 Node 层
观察资源饱和、Run Queue(等待 CPU 执行的任务队列)、PSI(资源压力导致任务停顿的统计)、磁盘延迟、丢包、Conntrack(网络连接跟踪)和 Node Condition(节点状态条件)。集群平均值可能掩盖单节点故障,因此要按节点拆分,并检查慢请求是否集中在同一节点。
3.2 Pod 层
关注 Namespace(命名空间)、Workload(Deployment 等工作负载)、Pod UID(Pod 对象的唯一标识)、Node、Zone(可用区)和版本,用它们确定请求落在哪个实例上。再检查 Ready(就绪状态)、Restart(重启次数)和 Endpoint(服务后端端点)状态,判断该实例当时是否能够接流量、是否发生过重启或端点变化。
3.3 Container 层
关注 CPU Throttling、Memory Events(内存限制与回收等相关事件)、进程数、文件描述符、退出原因和容器日志。cgroup 是 Linux 对进程组进行资源统计和限制的机制;节点仍有空闲 CPU,并不意味着某个容器没有耗尽自己的 CPU 配额。内存事件的具体字段和含义需结合 cgroup 版本解释。
3.4 Application 层
关注请求率、错误率、延迟分位数、线程池队列、连接池等待、GC(垃圾回收)、下游调用和业务结果。请求进入应用后仍可能先等待线程或连接,因此要把“等待资源”和“拿到资源后执行”分开计时。
4. RED 与 USE
服务入口常用 RED:
- Rate:请求率;
- Errors:错误率;
- Duration:延迟分布。
资源常用 USE:
- Utilization:使用率;
- Saturation:饱和/排队;
- Errors:资源错误。
RED 从请求结果判断服务是否异常,USE 从资源状态解释异常原因。只看 Utilization 会遗漏 Saturation:CPU 平均不高时,某些时段仍可能出现 cgroup Throttling 或较长的 Run Queue。连接池也要同时看 active(正在使用的连接)和 pending(等待获取连接的请求);若 active 未达到配置上限却已有等待,还应检查连接创建、校验及指标采集时刻,不能仅据此认定池容量充足。
5. 分位数为什么比平均值重要
P99 表示按耗时排序后约 99% 的请求不超过的延迟,P50、P95 分别对应 50% 和 95% 的位置。分位数要结合统计时间窗口和请求量阅读;P99 升高描述的是尾部请求变慢,不意味着所有请求都变慢。
平均约 50 ms 可能由 99% 的 10 ms 和 1% 的 4 s 组成。大多数请求很快,会把少量慢请求的影响压在平均值里,而用户超时往往集中在这部分尾部请求。
Histogram(直方图)按延迟边界把请求计入 Bucket(桶)。SLO(服务等级目标)若关注请求是否在某个阈值内完成,桶边界就应能支持这个判断。对于经典 Prometheus Histogram,桶过粗会降低阈值附近分位数估算的精度,过细则会增加时间序列。Prometheus 的 histogram_quantile 基于桶估算分位数,并不等于对全部原始请求耗时直接排序得到的精确值。
不要对不同实例已经计算出的 P99 再做简单平均:各实例的请求量和延迟分布不同,平均实例 P99 无法代表全部请求的 P99。对于经典 Histogram,应在桶边界一致、统计窗口一致的条件下,先聚合各实例的桶计数或桶计数增长速率,再计算整体分位数。
6. 标签与高基数
指标标签用来区分同一个指标的不同维度。一个指标名与一组标签值共同确定一条时间序列;标签值组合越多,需要保存和查询的序列就越多。基数指不同取值的数量,高基数问题通常来自这些组合持续增长。
适合控制取值范围的标签:
text
service、namespace、cluster、region、status_code、method、version危险标签:
text
user_id、order_id、trace_id、完整 URL、异常文本高基数会增加存储、查询和内存压力。即使单个标签取值不多,多个维度组合后也可能产生大量序列。Trace ID 通常随请求变化,应进入日志或 Exemplars(将某个指标观测值关联到具体请求的样本信息),而不是普通 Metrics Label(指标标签)。
Pod 名和容器 ID 还会随着重建频繁更换,这种序列更替称为 churn。长期服务指标应优先聚合到 Workload/Service,排障时再下钻到 Pod,并通过日志或 Trace 保留定位实例所需的信息。
7. OpenTelemetry 的作用
OpenTelemetry 提供生成、处理和导出 Traces、Metrics、Logs 的标准化能力。它不是后端数据库,也不保证自动采集就能解释业务。
典型链路:
应用 SDK(开发库)或 Agent(自动插桩组件)生成观测数据,Collector(采集与处理组件)接收并处理,再导出到负责存储、查询和展示的后端。业务特有的等待阶段仍需要适当埋点;自动采集覆盖哪些操作,取决于所用组件及其版本。
图表将在阅读到此处时加载…
Collector 可做批处理、采样、过滤、属性补充和多后端导出。处理器顺序和内存限制必须设计,否则可观测性组件自身也会 OOM 或丢数据。
8. Context Propagation:Trace 为什么会断
Context Propagation(上下文传播)是把当前操作的关联信息带到下一段执行中。HTTP 常通过 traceparent 等 Header(请求头)传播调用链上下文。跨进程调用需要发送方注入、接收方提取;异步线程切换则需要把当前 Context 带到任务执行位置。异步线程、消息队列、定时任务和自定义协议若没有相应框架或插桩支持,就需要显式处理传播。
Java 局部示意,需依赖 OpenTelemetry Context API,并已有 executor 与 callDownstream() 实现:
java
// 伪代码:提交异步任务前捕获当前 Context,任务内恢复。
Context parent = Context.current();
executor.submit(parent.wrap(() -> {
callDownstream();
}));仅传 Trace ID 字符串不足以维护 Span 父子关系和采样标志,可能让同一请求的操作无法正确连接。Baggage 是随上下文传播的附加键值信息,与调用链身份信息不同,不是建立父子关系的必要条件。启用跨服务传播时,不能把密码、Token 或大量业务数据放入 Baggage。
9. 最小关联方案
应用入口的结构化日志应关联请求身份、实例信息和处理结果。下面是一条错误请求结束时的日志示例;duration_ms 表示该入口所测量区间的耗时,不能直接当作用户端总耗时:
json
{
"timestamp": "2026-09-29T12:00:00Z",
"level": "ERROR",
"service": "order-api",
"version": "1.8.3",
"pod": "order-api-abc",
"node": "node-2",
"trace_id": "...",
"span_id": "...",
"route": "/orders/{id}",
"duration_ms": 2010,
"error_type": "DownstreamTimeout"
}不要记录完整订单号路径、Authorization 或请求体。路由应使用模板,避免高基数和隐私泄露。
Kubernetes 元数据可由 Collector/Agent 补充,但 Pod IP 复用和名称变化要求使用时间窗口、Pod UID 或版本共同定位。
10. 采样如何不漏掉关键错误
采样是在数据量与保留细节之间取舍,不能无条件保证保留所有错误。先区分两个维度:何时作决定,以及按什么规则作决定。
- Head Sampling:请求开始时决定,成本可控但可能漏掉事后才知道的慢请求;
- Tail Sampling:在后端缓冲并汇集 Trace 的 Span 后,再按错误、延迟等决定,信息更多但 Collector 的内存与处理成本更高;
- 概率采样:按概率选择请求,用于估计总体分布时还需考虑采样偏差;
- 规则采样:按错误、慢请求或关键租户等条件选择请求。
前两项描述决策时机,后两项描述选择规则,可以组合使用。尾部采样依赖相关 Span 到达采样组件;上游已经丢弃、传播断裂或超过等待窗口的数据,不能靠尾部采样补回。
采样策略应记录实际比例。用于告警的请求总量和错误率应优先从全部请求独立计数:如果按错误或慢请求倾斜采样后,再直接用保留的 Trace 计算错误率,就会改变分子与分母的比例,得到偏离真实流量的结果。
11. 从告警到根因的证据流程
图表将在阅读到此处时加载…
例如 Trace 显示 db.connection.acquire 700 ms、SQL 20 ms,下一步应查连接池 pending、池大小和数据库连接数,而不是继续优化 SQL。
这里的 db.connection.acquire 是获取数据库连接的操作名示例,是否存在这样的 Span 取决于埋点。如果同一时间窗口内连接池等待增加,且慢请求集中在这些实例上,就能进一步支持“借连接阶段变慢”的假设;仅凭一个慢 Span,还不能确定是池容量、连接泄漏、连接创建慢还是下游占用连接过久。并行 Span 的耗时也不能直接相加,应先确认父子关系和测量边界。
12. 反例与正例
反例:所有请求完整打印日志
吞吐高时,每条请求日志都会增加格式化、传输、存储和检索成本。完整打印请求头或请求体还容易泄露敏感数据;数据更多不等于更容易定位问题,关键在于字段能否关联同一请求和实例。
正例:结构化、分层和可关联
text
Metrics 汇总全部请求
Trace 按策略采样
错误日志带 Trace ID
审计日志独立保留
调试日志临时开启并限时关闭13. 容易踩的坑
13.1 只看 Pod CPU、内存
资源概览适合发现明显异常;若入口延迟已经升高,还需下钻线程、连接、磁盘、网络和下游等待,避免把“使用率低”当成排除瓶颈的证据。
13.2 Metrics 标签放 Trace ID
每个请求都可能创建新的标签值组合,使时间序列随请求持续增长。用日志或 Exemplars 关联具体请求,指标保留可聚合的维度。
13.3 Trace 有 Span 就认为时间准确
Span 只描述被记录的区间。客户端排队、自动重试或上下文断裂可能没被埋点;应把入口总耗时与 Trace 覆盖区间对照,寻找未被解释的时间。
13.4 Events 当永久故障档案
Events 会过期、聚合和限流。查不到事件不能证明当时没有异常;需要长期故障档案时,应导出关键事件,并保留对应时间窗口的日志、指标和对象身份信息。
13.5 可观测性后端没有容量保护
故障时日志和 Trace 可能暴增,使采集队列、内存和后端写入同时承压。需要设计容量限制、过滤和采样策略,并观察采集失败与丢弃情况,否则最需要证据时,数据反而可能丢失或拖垮业务。
14. 总结
云原生可观测性要把请求、实例、版本和资源等待关联起来,而不是为每个组件各建一块互不相通的仪表盘。
可以带走的三个核心要点:
- Metrics、Logs、Traces、Events 各有盲区,根因需要多信号交叉验证。
- Node、Pod、Container、Application 四层都要同时观察使用率、饱和度和错误。
- Trace ID 适合关联日志与请求,不适合作为普通指标标签;采样和高基数必须纳入容量设计。
下一篇:一次 Kubernetes 接口超时的完整排查:从 Ingress 到 JVM 与数据库。