外观
22 - 接口偶发超时排查
前置阅读:20 - 分层分诊、17 - 同一截止预算、18 - 资源与等待。协议取证见21。
下文的时间线和分位数样本是教学模型,本地准入实验另列历史实测记录。连接池指标、调用链与网关计时字段的含义,需按实际客户端、采集实现和版本解释。
摘要
接口平均耗时正常,仍可能有少数请求超时。排查的第一步是确定:这次请求的时间花在本地排队、申请资源、网络交换,还是响应读取上?如果它在等资源,还要追踪谁占着资源、为什么没有释放。
本文先建立请求等待的基本模型,再拆分每次网络尝试的时间线,用本地准入实验解释“请求尚未发出也会超时”,最后讨论长尾统计、替代假设和修复验收。
1. 现象:平均正常,少数请求超过预算
一次网络调用可以经历:任务排队 → 申请连接或并发许可 → 建立或复用连接 → 发送请求 → 接收响应 → 释放资源。超时预算是允许这次调用消耗的时间上限,本地等待也会消耗它;超时并不意味着请求已经发到网络上。
以一个教学模型为例:多数请求很快,少数请求在申请连接(Acquire)时等待。假设旧请求读取响应体(Body)变慢,并在读取期间一直占用连接,那么连接归还速度会下降。当已借出的连接数(Leased)达到池的容量上限,新请求无法立即取得连接,等待中的申请数(Pending)便可能增加,直至部分请求耗尽剩余预算。这是一条需要证据支持的因果链,不是生产事故结论。这些指标名称并非所有连接池都使用,具体含义需查对应实现。
因此,连接池等待时间(Pool Wait)高,只能把排查引向资源申请阶段。还要区分旧请求占用变慢、资源未归还、入口负载超过处理能力,以及不同依赖共用资源造成的竞争,不能直接认定“池太小”。
其他候选原因包括:DNS(域名解析)结果与实际连接地址不一致、复用旧连接失败、TCP 传输恢复、流额度不足、执行器(Executor)排队、垃圾回收(GC)停顿、代理重试,以及采样偏差。使用多路复用协议时,一个连接可以承载多个流(Stream);可创建流的数量和可发送数据的流控额度也可能成为等待边界,不能只看连接数。
2. 时间线:每次Attempt独立,时间范围不重算
一次业务请求可能包含多个依赖调用,每个调用又可能重试。每一次实际调用尝试称为 Attempt,不能只用业务请求 ID(Request ID)把它们混在一起。应分别记录请求 ID、Attempt ID、父尝试、目标主机名(Host)与 IP、地址族(IPv4/IPv6)、协议、是否复用连接、预算与异常,再通过 Trace(请求调用链)关联各层记录。
同一进程内,用单调时钟计算两个事件之间的耗时,避免系统时钟调整影响差值。跨机器关联时,要记录时钟同步条件和偏差,并结合调用关系判断先后;不能直接相减不同进程的 nanoTime 值,因为它们不共享计时原点。
| 区间 | 推荐边界 | 解释注意 |
|---|---|---|
| 执行器排队(Executor Queue) | 提交→开始执行 | 提交失败、取消后未执行也需记录 |
| 资源申请(Acquire) | 开始申请→成功/超时 | 未取得连接时无需归还该连接,本次尝试也可能尚未产生数据包 |
| 解析/建连/安全握手(DNS/Connect/TLS) | 客户端定义的各阶段 | 复用时可能没有这些阶段,缺值不能直接写成 0 |
| 首次响应(First response) | 指定发送/交换起点→响应头或首字节 | 起点不同,不能直接比较网关的 header_time |
| 响应体读取(Body) | 开始读取→消费完成/中止 | 记录是否完整读取、是否取消及已消费的字节数 |
| 重试退避/清理(Backoff/Cleanup) | 退避开始→结束;超时→清理完成或释放 | 退避消耗预算;超时后的清理仍可能占用资源 |
客户端 SDK(软件开发工具包)、网关和 curl 的计时字段,可能记录从调用开始算起的累计时间,而非独立阶段耗时。例如,首字节时间若已经包含建连时间,再相加就会重复计算。并行调用、TLS 阶段的包含关系和重定向也会影响计算。先明确每个区间的起止事件:只有串行且不重叠的分段才可相加;重叠区间计算覆盖时间的并集,分析完成耗时则追踪决定结束时间的关键路径。
2.1 教学模型:Acquire已消耗大部分预算
text
本次尝试预算2000ms,仅为教学数字:
0~1800ms:Acquire等待已有占用者;没有开始本次网络交换
1800~1850ms:假设已得连接、发送请求
1850~2000ms:等待/读取响应,剩余预算耗尽
后续:可能取消、关流或销毁连接;资源释放需独立验证这里的 HTTP 总耗时包含本地等待,不能据此推算网络往返时延(RTT)也是 2000ms。本次请求尚未发出,也不代表占着连接的旧请求没有发出。若包含重试,第一次失败、重试前的退避等待和第二次成功都计入用户总耗时;只记录最终的 HTTP 200 成功响应会隐藏此前等待。
3. 完整受控验证:本地准入等待,无线路结论
准入是指取得执行操作所需的容量许可。这个实验使用 Semaphore(信号量)限制容量,让一个持有者先占住许可,再观察另一个申请者能否开始操作。
下载PermitWaitTimelineDemo.java,在文件所在目录使用 JDK 17 编译并运行。运行步骤与所有权原理见18:
bash
javac PermitWaitTimelineDemo.java
java PermitWaitTimelineDemo程序用 Latch(线程间的同步闩锁)确认持有者 holder 已取得许可,避免申请者提前运行。第一次申请设置 150ms 等待上限;超时后没有执行模拟操作,因此计数为 0。让 holder 完成并释放许可后,再次申请成功,操作计数为 1,最终许可恢复。实际记录到的等待耗时不必恰好等于设置的上限。2026-09-30,Windows/OpenJDK17+35实测:
| 对照 | Acquire实测 | 取得许可 | 模拟操作 |
|---|---|---|---|
| holder仍占用 | 161ms | false | 0 |
| holder已完成 | 0ms | true | 1 |
这个对照支持的结论是:在该受控模型中,等待发生在本地准入阶段;解除占用后,申请者可以继续执行。Semaphore 不是连接池,实验没有 TCP、HTTP、DNS 交换或 pcap(数据包捕获文件),其中的许可与计数也不是实际连接池的 Leased/Pending 指标。因此,它不能证明生产连接池泄漏、数据库慢分片、1800ms 等待或 P99 变化。
实验的证据结构是“同步确认占用 → 只解除这一项占用 → 检查申请成功及许可恢复”。应用到真实项目时,需要使用与项目一致的客户端库版本和真实连接池,受控改变上游响应体读取速度,并检查取消路径是否归还或销毁资源。这不是容量压测,单次等待耗时不能用于预测线上容量。
4. 长尾与分位数:小比例故障未必改变P99
长尾指少数请求的耗时远高于大多数请求。把耗时从小到大排列,P99 是第 99 百分位,P99.9 是第 99.9 百分位;它们关注尾部,但仍可能漏掉比例更小的慢请求。
教学样本:995个请求50ms,5个请求2000ms。均值为59.75ms。采用 nearest-rank 方法时,取排序后第 ceil(p × N) 个样本,其中 p 为分位比例,N 为样本数,ceil 表示向上取整。P99 对应第 990 个,仍为 50ms;P99.9 对应第 999 个,才落入 2000ms。0.5%慢请求不必在P99中显现。因此,应同时看错误/超时率、阈值超标比例、P99.9、最大耗时(Max)与样本数。
分位数算法、直方图桶(把耗时归入若干范围)和统计窗口不同,结果也可能不同。各实例 P99 的平均值通常不是全局 P99,因为它没有合并各实例的完整分布。100 个样本与 100 万个样本对尾部的估计也不能视为同样可靠;若只采集成功请求,已超时的慢请求会被排除,统计结果便会偏向较快的请求,这就是选择偏差。
闭环压测中,每个压测执行者等上一次响应完成才发下一次请求。响应变慢时,它发出的请求也会减少,可能掩盖持续到达的流量所造成的排队。开放模型按设定的到达节奏发请求,更适合部分到达率对照,但仍需控制负载生成器的容量和请求截止时间。性能结果应列出到达率、并发数、成功/超时样本、排队时间和重复次数;一次本地回环结果不足以证明线上服务级别目标(SLO)达成。
5. 假设矩阵:相关证据不等于唯一原因
| 假设 | 应出现的请求级支持信号 | 替代解释/下一步 |
|---|---|---|
| DNS/缓存异常 | 解析耗时或结果异常,并能关联到实际选中的 IP | 新执行的 dig 查询不代表已有 JVM 的缓存结果,见11 |
| 池占用增长 | 占用者读取响应体或持有资源的时间变长,随后申请等待增长 | 区分未归还、下游慢、入口负载过高及流额度限制 |
| TCP恢复影响 | 该连接的字节缺口、确认报文与恢复时序吻合 | 排除捕获遗漏,并核对卸载和排队位置,见06 |
| 应用停顿/线程等待 | 多个相关任务的时间线与运行时暂停或锁等待吻合 | 一次线程快照不足以描述整个等待过程,见并发15 |
| 代理重试/超时 | 明确超时响应由哪个节点生成,以及每次尝试的上游与预算 | 上游的 200 响应可能在代理超时后才返回,见15 |
| 下游退化 | 同一次依赖调用的排队(Queue)、执行(Run)或响应体读取异常 | 数据库平均耗时正常,不排除特定分片或少数请求很慢 |
TCP 恢复分析中的 ACK 是累计确认,SACK 是选择性确认;Offload 指协议处理的卸载或分段、聚合机制,qdisc 是 Linux 网络排队调度机制。这些观察边界的限制见21。
主机级重传计数汇总了许多连接:少量相关丢失可能不足以让曲线明显变化,曲线升高也可能来自无关连接。因此,要把对应连接的字节缺口、确认与恢复区间同请求等待区间对齐,并检查捕获是否完整,不能只凭全机曲线定责。
6. 采集与干预:先最小,再跨层
先选择超时样本与相近的正常样本,确保调用目标、请求方法、载荷(Payload)及尝试语义相近,例如首次调用与首次调用对照,而不是和重试成功混比。再沿时间线找到最早迟迟未完成的阶段;如果是资源申请等待,就追踪占用连接或流的任务、取得/归还记录和依赖调用耗时。必要时按21在两个位置限时捕获数据包,并限制敏感数据留存。
运行时可按授权采集线程状态、JFR(Java Flight Recorder,Java 运行时事件记录工具)及队列时间,工具版本、权限与开销见JVM07。选定一个候选假设后,先写下它成立时预期看到的变化,再在测试路径只改变一个变量:上游延迟、受控泄漏、隔离限额或入口负载。记录与预测不符的证据、恢复时点和回退方法;同时改池、线程、超时和重试,会使变化难以归因。
若假设是“慢占用导致池等待”,解除慢占用后,预期应看到资源占用(Occupied)及 Acquire 等待改善,同时下游压力没有进一步增加。这里的 Occupied 是对实际占用量的统称,需对应到所用池或许可机制的指标。若只扩大池,虽然 Acquire 等待下降,下游 CPU 和错误却升高,说明更多请求被放行到下游,压力发生了转移,不能据此认定根因已修复。
7. 复盘与验收
text
影响起止、时区、实例及请求/Attempt范围:
成功、超时、拒绝样本数与采样遗漏:
字段起点、时间同步误差、指标聚合方法:
最早未完成边界、关键协议/资源证据:
根因候选、放大因素、替代解释及排除理由:
授权干预、单变量预测、实际变化与精确回退:
修复后的Acquire、Occupied、尾部、错误/拒绝率与下游负载:
取消/连接或许可回收是否完成:
仍待核验的版本、API和故障路径:“重启后好转”只说明运行状态发生了变化,不能说明哪个机制导致故障。一个受控测试也不能证明所有生产故障同源。复盘应将结论写成“现有证据支持什么、在什么条件下排除了什么、还需要验证什么”,并让时间线中的每个时点都能追溯到日志、调用链或捕获记录。
8. 跨专题导航与取舍
本文聚焦网络调用时间线;20提供分诊,21提供数据包证据,17与18解释预算和资源。执行器排队进一步见并发15,端到端数据库、消息队列(MQ)与缓存链路见分布式35。
采集范围要足以区分候选原因,同时控制工具开销、采样偏差、隐私风险和存储成本。按 SLO 定义耗时阈值与失败结果,再检查正确性、资源回收和下游可用性;平均值或 P99 改善只是验收的一部分。
验收点:按同一次尝试的区间与所有者解释长尾,量化采样和分位数限制,以单变量干预验证恢复而非转移压力。