外观
11 - 超时应该设多少:从调用预算到全链路 Deadline
摘要
入口只允许等待 2 秒,下游却配置连接超时 3 秒、读取超时 5 秒,还允许重试两次。如果这些等待不受入口总预算约束,上游已经返回失败,下游仍可能继续占用资源。设计超时的关键,是让排队、调用和重试共享一份时间预算,再为各阶段设置等待上限。本文先建立这个模型,再说明如何在 Java 中计算剩余时间,以及跨服务传递预算时需要处理的边界。
1. 场景:上游早已放弃,下游仍在努力
设想网关等待 2 秒后返回 HTTP 504(网关超时),订单服务的库存客户端单次读取超时却是 5 秒。在阻塞调用中,如果网关超时没有触发有效取消,用户已经收到失败,订单线程仍在等待库存响应;若直到 5 秒读取超时后还重试一次,库存又会收到新的调用。
这种在调用方放弃后仍继续执行的请求,常被称为“幽灵流量”。它会延长线程、连接等资源的占用时间。新请求持续到达时,可用资源减少,后续请求更容易排队和超时,重试还可能继续增加下游负载。
因此,先要回答“整个请求还能用多久”,再回答“本次连接或读取最多等多久”。上游返回超时并不意味着下游自动停止,预算约束与取消机制需要分别落实。
2. 不同超时保护不同阶段
一次下游调用可能先解析域名、等待连接池,再建立连接、发送请求和读取响应;复用已有连接时,则可能跳过建连阶段。Timeout 是超时限制,但不同参数保护的等待范围不同。
| 超时 | 保护对象与边界 |
|---|---|
| DNS 超时 | DNS(域名系统)解析,即将域名转换为地址 |
| Connect Timeout | 建立连接;是否包含 TLS(安全传输协议)握手,取决于客户端实现 |
| Pool Acquire Timeout | 等待从连接池取得可用连接 |
| Read/Response Timeout | 等待响应数据;可能限制一次读取、读取间隔或响应阶段,需确认客户端定义 |
| Write Timeout | 写请求时长期阻塞的等待 |
| Overall Timeout | 整次调用的总时长;用于总预算时,应确认是否覆盖池等待、响应内容消费及全部重试 |
这些上限不能简单相加后就当作入口超时,也不会天然覆盖彼此。例如,只配置 Read Timeout,请求可能在开始读取之前,就因等待连接池耗尽大部分预算。如果读取超时限制的是相邻读取间隔,对端不断发送少量数据还可能让整个响应持续很久。
具体参数的计时起点、保护范围和超时后的资源处理,要以所用客户端及版本为准。总预算负责限制整个操作,各阶段超时负责限制某一类等待,两者需要配合。
3. Timeout 与 Deadline
Timeout 表示“从某一步开始最多等多久”;Deadline(截止时间)表示“整个请求最晚何时结束”。例如,在入口收到请求时确定截止时间,后续每层都从同一个截止时间计算剩余预算,就不会每进入一个服务都重新获得完整的等待时间。
基本模型是:
text
剩余预算 = 入口总预算 - 已耗时
本阶段可用时间 = 剩余预算 - 后续处理、返回和清理预留
本阶段等待上限 = min(阶段配置上限, 本阶段可用时间)本阶段可用时间不大于零时,不应再发起新的等待或调用。每进入下一阶段、每次重试前,都要重新计算;排队和重试前的退避等待也要扣除。退避指失败后先等待一段时间再尝试,它同样消耗请求预算。
下面是串行调用的预算计算示例,不是测量记录:
text
入口预算 1000 ms
网关已耗时 80 ms → 剩余 920 ms
订单处理已耗时 120 ms → 剩余 800 ms
为返回和清理预留 100 ms → 库存调用最多再使用 700 ms这里的 700 ms 是库存调用的剩余可用时长,不是绝对截止时间。该调用中的池等待、建连、读取和重试都应共享这 700 ms,而不是各获得 700 ms。库存返回后,订单服务仍需要留出时间完成后续处理和响应。
Deadline 只是到期边界,本身不会停止任务。调用方还需要把预算落到等待上限、到期检查和取消清理中;已经提交的远端写入,也不会因为调用方超时而自动回滚。
4. Java 预算对象
下面的 Deadline 类使用 JDK 8 及以上的标准库,保存进程内的截止读数。System.nanoTime() 用于度量经过时间,不是日期时间戳;用它计算耗时,可以避免墙上时钟校准直接改变本地时间预算。墙上时钟指用于表示当前日期和时间的时钟。
这是预算计算类,不包含调用入口、网络客户端或取消逻辑。使用时应传入非负且有合理上限的 Duration(时长),确保纳秒转换与运算处于可用范围;该简化实现不处理极端时长及计时读数回绕。
java
import java.time.Duration;
public final class Deadline {
private final long deadlineNanos;
private Deadline(long deadlineNanos) {
this.deadlineNanos = deadlineNanos;
}
public static Deadline after(Duration duration) {
return new Deadline(System.nanoTime() + duration.toNanos());
}
public Duration remaining() {
long nanos = Math.max(0, deadlineNanos - System.nanoTime());
return Duration.ofNanos(nanos);
}
public boolean expired() {
return System.nanoTime() >= deadlineNanos;
}
}after() 根据当前读数和时长建立截止时间;remaining() 返回剩余时长,到期后返回零;expired() 判断是否到期。预期行为是在计时读数未回绕、运算未溢出的条件下,随着时间经过,剩余时长递减并最终归零。实际调用中,应在等待前读取剩余预算,再扣除后续预留,与阶段上限取较小值。不能每次重试都调用 after() 创建完整的新预算。
这个对象不会主动中断线程,也不会自动给网络客户端设置超时。接入客户端时,还要确认时间单位、取整方式和零值含义:如果某个 API 用零表示“不限制等待”,就不能把不足一个时间单位的剩余预算直接向下取整为零。
跨进程不应直接传 nanoTime() 读数,因为它的原点没有跨进程含义。可以传相对剩余时长,由接收方扣除传输安全余量后建立本地截止时间;也可以传有明确定义的绝对时间,但要考虑两端时钟偏差。相对时长若不扣传输耗时,就可能在每一跳延长预算;绝对时间若忽略时钟偏差,则可能过早或过晚到期。gRPC 等框架的 Deadline 如何传播、扣减以及触发取消,需要按具体版本和调用方式确认。
5. 如何选择数值
超时数值应从业务 SLO、下游延迟分布和失败成本推导。SLO(服务等级目标)是对服务表现的明确目标,例如规定一定比例的请求在指定时间内完成。它提供总体约束,但不意味着所有接口都应复制同一个超时值。
- 明确入口最大响应时间。 区分交互请求与批量请求:用户等待一次页面响应,与后台完成一批任务,对时长和失败的容忍度不同。
- 预留网关、编码和返回时间。 不能把入口预算全部交给下游,否则即使下游按时返回,上游也可能来不及完成响应。
- 按串行或并行依赖分配预算。 串行依赖的耗时会累加,前一步多用时间,后一步就只能少用。并行分支共同受入口 Deadline 约束,总等待取决于需要哪些分支完成,不能简单把所有分支预算相加。
- 用正常与过载压测观察 P95/P99。 P95、P99 分别是第 95、99 百分位延迟,用于观察较慢请求。比较时要确认是否包含排队和重试,以及负载是否与目标场景一致。
- 按超时阶段持续调整。 区分池等待、建连、读取和整体到期,结合失败比例与资源占用判断预算是否合理。
若超时明显低于正常请求的 P99,就可能把本可成功的慢请求判为失败;但 P99 也不是所有业务都必须等待的下限。应结合允许的失败比例和等待成本选择数值,避免大量误判,也避免远超用户可等待时间。增大超时会让未完成请求更久地占用资源,因此还需观察过载时排队和并发是否失控。
6. 容易踩的坑
- 上游超时小于下游单次超时。 若下游不受剩余预算约束,上游放弃后仍可能继续等待。应让本次尝试服从剩余预算,并为返回预留时间。
- 每次重试重新获得完整超时。 单次尝试都没超时,不代表所有尝试和退避的总耗时没有超预算。
- 将连接超时误当成整个请求超时。 池等待、响应读取等阶段可能不在它的保护范围内。
- 只返回超时,不处理排队任务和响应读取。 应停止尚未执行的过期工作,并按客户端和任务的取消契约清理已取得的资源;能否停止远端执行,要结合实现和业务语义判断。
- 所有请求使用相同预算。 批量与交互请求的响应目标不同,预算应按业务场景区分。
- 用墙上时钟测量本进程耗时。 时钟校准可能改变差值;本地经过时间应使用适合度量耗时的时钟,跨进程绝对截止时间则另行处理时钟偏差。
7. 总结
超时是从业务响应目标向下游逐层消费的一笔时间预算。 阶段超时限制某一次等待,Deadline 约束整个请求;排队、调用、退避和重试都要从同一份预算扣减。到期后还需落实取消与清理,不能把“调用方不再等待”当作“下游已经停止”。
选择数值时,先明确入口目标和后续预留,再结合真实延迟分布、失败成本及过载表现调整。
下一篇:重试为什么会制造更大的故障:重试风暴与退避算法。
应用与排障导航
- CompletableFuture 中的超时完成不等于底层任务停止:Java 并发 10 - CompletableFuture 异步编排
- 队列中的任务也必须消费同一份 Deadline:Java 并发 15 - 线程池任务堆积与接口超时
- 网络各阶段超时与重试:网络 17 - 网络超时与重试