外观
35 - 一次分布式接口超时的完整排查:从网关到数据库建立证据链
摘要
网关返回 504,应用日志没有异常,下游又声称只执行了 20 ms,时间到底花在哪里?这些现象并不矛盾:网关等待的是上游响应,业务日志和 SQL 日志可能只覆盖其中一小段。
一次请求通常经历连接建立、入口排队、业务执行、等待下游和响应返回。超时表示某个等待方在限定时间内没有拿到所需结果,不能据此判断业务是否已经执行。排查要先确认是谁在等待、等待多久,再为同一请求拆分各段耗时。
本文给出从影响范围到线程池、连接池、缓存、消息队列(MQ)和数据库的端到端排障流程。重点是让时间记录、资源指标和请求日志相互印证,而不是看到某个组件就先调整参数。
1. 先止损并保留现场
先确认受影响的用户、接口、区域、实例、版本和开始时间,区分全局故障与局部异常。选取超时请求及同一时间窗口内的正常请求作为对照,记录请求标识和实际经过的实例,避免把不同请求的日志拼成一条链路。
根据风险执行限流、摘除异常实例、关闭非核心功能或回滚。若现场允许,应先保存线程、连接和队列状态:重启会丢失这些证据,除非必须立即止损,不应作为第一诊断动作。恢复服务与确认原因是两件事;一次操作使服务恢复,只能说明它改变了故障状态。
2. 故障树
故障树把“接口超时”拆成可检查的候选位置。先判断请求是否到达应用,再看是否排队、是否等待下游,以及响应能否返回。它用于缩小范围,不表示各分支互斥;例如下游变慢,也可能使应用线程被占满,继而出现入口排队。
图表将在阅读到此处时加载…
图中 DNS 是域名解析,TLS 用于建立加密连接,GC 是垃圾回收,DB 表示数据库,RPC 是远程过程调用。序列化是把业务对象转换为可传输的数据;业务计算完成后,这一步以及数据发送仍会占用时间。
3. 建立时间账本
Trace ID 是链路追踪中用于关联同一次请求的标识。它能帮助找到相关记录,但不会自动记录等待时间;需要在操作边界记录起止时间。以下是一个串行数据库调用的记录模板,不是实测输出:
text
网关接收 t0
应用接收 t1
业务开始 t2
获取数据库连接完成 t3
SQL 返回 t4
业务结束 t5
网关收到响应 t6
客户端收到 t7每一段的含义取决于记录位置:
t1-t0:网关接收后到应用接收前的时间,重点检查代理转发、连接和网络过程。t2-t1:应用接收后到业务开始前的时间。若两处记录分别位于任务入队和开始执行处,可用于观察应用队列等待;入口处理也可能包含在其中。t3-t2:业务开始后到获得数据库连接的时间。可能包含连接池等待,但若中间还有业务处理,就不能把整段都算作连接等待。应另记获取连接的开始时间。t4-t3:获得连接后到 SQL 返回的时间,接近一次数据库调用耗时,但仍可能包含请求传输、数据库执行与锁等待、结果读取,不能直接等同于数据库内部执行时间。t5-t4:SQL 返回后的业务处理时间。t6-t5、t7-t6:继续检查响应生成、序列化、代理转发与客户端接收。还需明确“收到响应”指收到首字节还是完整响应。
跨机器日志存在时钟偏差,应优先使用各进程内记录的持续时间和 Trace 的调用关系,不盲目直接相减绝对时间。Span 是 Trace 中一个有起止边界的操作;瀑布图用时间条展示这些操作。如果有并行调用,各段可能重叠,不能把所有 Span 的耗时直接相加。
超时请求可能没有 t6 或 t7,此时应记录等待方的超时或断开时间,并继续查找应用是否完成处理。缺少记录的区间是需要补证的位置,不能直接归因于网络。
4. 分层检查
网关与网络
先确认状态码由谁生成。504 通常表示网关等待上游超时,不自动证明应用没执行;应用也可能在网关停止等待后继续处理。
检查网关日志中的上游连接耗时(upstream connect time)、上游响应耗时(upstream response time)、重试次数,以及客户端是否提前断开。上游是网关转发请求的目标服务。具体字段名称、计时边界和多次尝试的记录方式取决于网关实现与配置,应按实际含义解读。
将这些记录与目标实例的入口日志对应起来。连接阶段慢与连接成功后等待响应慢,指向的候选原因不同;只有把边界拆开,才能决定下一步查网络还是应用内部。
JVM 与执行器
对于运行在 JVM(Java 虚拟机)中的服务,查看 CPU、垃圾回收暂停时间(GC Pause)、线程状态,以及业务线程池的 active、queue、rejected 指标,分别了解正在执行的任务、排队任务和被拒绝的任务。具体指标是当前数量还是累计计数,要按监控定义确认。
线程池负责用一组线程执行任务。线程被慢下游或锁占用时,新任务可能继续入队,因此 CPU 不高也会发生排队超时。把线程池状态与慢请求所在的时间窗口对齐,比孤立查看 CPU 更有用。
线程 Dump 是某个时刻的线程调用栈和状态快照。大量线程处于 WAITING 时,可能在等待连接池或 Future(异步任务结果),但必须看调用栈才能判断等待对象;BLOCKED 表示等待进入 Java 同步监视器,应继续检查锁竞争。单次快照只能说明采集时的状态,需要结合持续时间和队列变化判断是否与故障相关。
连接池
连接池复用数据库连接;当可用连接耗尽时,请求需要等待其他请求归还连接。若 SQL 日志从获得连接后才开始计时,连接获取等待就不会出现在 SQL 耗时中。因此,应用慢而 SQL 日志快时,应优先检查连接获取耗时、在用连接数、等待请求数和获取超时。
连接池耗尽也可能是下游变慢的结果:SQL 或事务持有连接更久,可用连接就更少。应同时查看连接持有时间和数据库状态。直接把池开得更大,可能突破数据库最大连接数和 CPU 容量,并让更多请求争用数据库资源。
数据库与缓存
数据库调用要区分执行慢、锁等待、网络读取和大结果集。慢 SQL 日志的统计边界未必覆盖应用获取连接或读取全部结果的时间,应结合数据库会话、锁等待与应用侧记录解释差异。
Redis 排查应查看命令延迟、热 Key、大 Key 和客户端 pending,不能只看服务端 CPU。热 Key 是被频繁访问的键,大 Key 是值或集合规模较大的键;它们分别可能带来集中访问和较重的处理、传输成本。pending 通常用于描述客户端尚未完成的请求,具体含义取决于客户端实现。
如果接口等待 MQ 发送确认或消费结果,也要拆开应用发送、消息系统确认、队列等待和消费处理等边界。若消费是异步进行且接口不等待它完成,就不应把消费耗时直接计入本次接口响应时间。
RPC 与重试
一次逻辑 RPC 可能包含多次实际调用尝试(attempt)。对齐每次尝试的目标实例、开始时间、超时和结果,同时记录尝试之间的等待。总耗时可能来自多次“各自不慢”的失败尝试,以及重试间隔。
还应比较客户端、网关、应用和下游各自的超时配置,确认哪个等待方先耗尽时间预算。重试会增加下游请求量,可能进一步加重排队;写操作超时后的结果可能未知,不能仅凭超时就认定未执行并直接重试。
5. 只读优先的证据清单
围绕同一时间窗口和请求样本收集证据:
- 部署和配置变更时间:检查异常是否与版本或参数变化同时出现,再用实例间对照验证关联。
- 请求率、错误率、P95/P99:P95、P99 是延迟分位数,分别表示约 95%、99% 的请求耗时不超过该值。按接口、实例或租户等维度比较,避免整体统计掩盖局部异常。
- 实例资源与饱和指标:除 CPU 外,还看线程、连接和队列是否接近容量上限。资源饱和表示可用处理能力被占满,不限于 CPU。
- Trace 瀑布图:定位耗时增长的操作,并检查是否缺少入口排队或连接获取等区间。
- 线程 Dump 和连接池快照:确认请求在等什么,以及可用资源是否耗尽。
- 数据库会话、锁等待和慢 SQL:区分应用等待与数据库内部等待。
- 网关与下游对应请求日志:核对请求是否到达、是否发生重试,以及响应或超时由哪一方产生。
任何抓包、动态诊断和提高日志级别的操作,都要评估性能与敏感数据风险。采集更多数据不等于更接近原因;优先补齐时间账本中无法解释的区间。
6. 容易踩的坑:五种典型误判
以下是推理示例,数字用于说明计时边界,不构成性能基准:
- “应用方法 20 ms,所以 800 ms 一定是网络。” 可能有 700 ms 线程排队。方法计时若从任务开始执行才启动,就看不到此前的等待;其余时间仍需逐段解释。
- “CPU 不高,所以服务有余量。” 线程可能都在锁或 I/O(输入输出)等待,可用执行线程已不足。
- “平均延迟正常,所以没有问题。” 少量租户的 P99 可能已不可用,整体平均值会掩盖这部分慢请求。
- “重启后恢复,所以是偶发问题。” 重启可能只是清空了队列或连接状态,并未消除使资源耗尽的原因。
- “下游无错误日志,所以没收到请求。” 日志采样或入口前排队可能隐藏证据,应结合接收记录与调用方日志判断。
7. 修复与复盘
根据证据选择修复位置:入口排队、连接等待和数据库锁等待需要不同处理,单纯延长超时不能说明问题已解决。修复后用相同流量模型验证业务正确性、P99、资源饱和和故障降级。流量模型包括请求速率、并发、接口与租户比例等;条件差异过大时,前后延迟不能直接比较。
故障降级是依赖不可用或容量不足时,以受控方式提供部分功能或返回明确失败。验证时要看失败能否在预算内结束,是否留下持续增长的队列,以及重试是否继续放大负载。
复盘应留下可执行改进:在哪个边界补指标、哪个超时需要调整、哪个队列需要设置容量上限,以及如何演练同类故障。每项改进都应对应已发现的证据缺口或故障机制,而不是只写“加强监控”。
8. 总结
分布式超时排查的核心是为同一请求建立完整时间账本,找出时间首次异常增长的位置,再用资源状态和日志解释原因。
- 先锁定实例、版本和时间窗口,再沿链路分段。
- 耗时的含义由计时边界决定;业务方法或 SQL 执行快,不能排除此前的连接等待和排队。
- 修复必须同时验证尾延迟、资源饱和和故障场景。尾延迟是延迟分布中较慢的那部分请求,P99 是观察它的常用指标之一。
下一篇:分布式系统高频面试题:用故障模型推导答案。