外观
15 - 熔断、隔离和降级分别解决什么问题
摘要
下游服务变慢时,调用方可能把线程和连接都耗在等待上,连不依赖它的请求也无法处理。隔离限制故障依赖能占用多少资源,熔断在故障持续时暂停调用,降级决定失败后还能提供什么结果。本文以商品详情调用推荐服务为例,先说明三者的基本分工,再解释熔断状态机和代码中的组合方式。
1. 场景:推荐服务故障拖垮商品详情
假设商品详情必须返回价格和库存,推荐列表只是附加信息。推荐服务迟迟不响应,商品接口仍同步等待 3 秒。如果请求必须等推荐调用结束才能返回,或者持续等待的请求占满了处理线程,价格和库存即使能够正常获取,也可能无法及时返回。
故障传播的关键是资源被持续占用:在请求持续到达的条件下,等待越久,同时未完成的请求就越多。推荐服务的局部故障因此可能演变成商品服务的整体不可用。
要切断这条链路,需要分别回答三个问题:推荐调用最多占多少资源、何时停止尝试、失败后商品接口返回什么。对应的基本模型是:先限制推荐调用的并发,故障持续时快速拒绝新调用,再按业务规则返回空推荐等替代结果。调用超时仍需单独设置,避免已经放行的请求无限等待。
2. 隔离:先限制影响范围
隔离是给不同依赖划定资源份额,避免一个依赖占满共享资源。可以按线程池、信号量、连接池或并发计数实现,但它们限制的对象不同,不能直接互相替代。
例如,商品服务有 200 个处理线程,推荐依赖最多占用 20 个并发槽位。槽位表示同时执行调用的许可:调用前取得,结束后释放。若没有槽位就快速拒绝,而且每个推荐调用只占用一个处理线程,那么推荐调用本身最多阻塞 20 个线程。若其余请求仍占着处理线程排队等待槽位,20 个槽位就不能保证保护其余 180 个线程。因此,并发上限还要配合有界排队和等待超时。
线程池隔离把依赖调用交给专用线程池执行,能分开执行线程和排队资源,但会增加任务调度开销;调用方若同步等待任务结果,自己的线程仍会被占用。信号量是控制许可数量的同步工具,开销较小,但同步调用仍在调用方线程上执行。连接池则限制可用连接数量,等待连接的请求也需要受到约束。
事件循环模型由少量 I/O 线程轮流处理许多连接的事件。不要在这些线程上执行阻塞调用,否则一个调用的等待会妨碍其他连接的事件处理;应使用非阻塞调用,或把阻塞工作交给专用执行线程。
3. 熔断:短时间停止向故障点发请求
熔断器根据一段统计窗口内的调用结果,决定是否继续向某个依赖发请求。它使用状态机,也就是一组状态及其切换条件,描述正常调用、暂停调用和恢复探测三个阶段:
图表将在阅读到此处时加载…
- Closed(闭合):正常放行并统计结果。名称来自电路闭合时允许电流通过的类比,不表示服务关闭。
- Open(断开):拒绝新的受保护调用,使其快速失败,不再为这些调用向下游发请求。此前已经放行的调用仍需靠超时等机制结束。
- Half-Open(半开):等待恢复窗口后,有限放行探测请求;根据探测结果决定恢复正常调用,还是再次断开。
错误率需要结合最小样本数判断,否则低流量接口只有一次调用且失败时,错误率就是 100%,容易过早熔断。慢调用则指耗时超过设定界限的调用,即使最终成功,也可能长时间占用资源。慢调用耗时界限及触发熔断的比例应结合 SLO(Service Level Objective,服务等级目标)设置,例如接口允许的响应时间目标,不应照抄默认值。具体统计窗口、阈值和半开状态的判定规则取决于实现与配置。
隔离在熔断器尚未断开时就限制资源占用;熔断在观察到持续故障后减少无效尝试。两者配合,才能同时控制故障初期的资源消耗和故障持续时的请求压力。
4. 降级:失败之后保持业务正确
降级是在完整功能无法提供时,返回业务允许的简化结果,或者明确拒绝当前操作。推荐失败可以返回空列表;头像失败可以返回默认图。余额查询失败却不能返回 0,因为“查询失败”不等于“余额为零”;权限服务失败也不应默认放行,因为此时没有取得授权依据。
降级策略必须由业务定义:
| 依赖 | 可行降级 |
|---|---|
| 推荐 | 空列表或缓存结果 |
| 商品评论计数 | 显示“暂不可用” |
| 余额 | 明确失败,禁止伪造 |
| 权限校验 | 通常 fail closed,即校验失败时拒绝访问 |
使用缓存结果时,还要明确业务能接受多旧的数据;明确失败时,应让调用方能区分“暂时无法查询”和真实业务结果。降级保护的是业务语义,而不只是让接口返回成功状态。
5. Resilience4j 结构示例
Resilience4j 是提供熔断、隔离等容错组件的 Java 库。下面是推荐调用的结构片段,需要补齐导入、依赖和所在方法,并初始化 circuitBreaker、bulkhead、recommendationClient、userId 及 Item 类型;API 需按实际使用的 Resilience4j 版本核对。Supplier 表示一个可调用并返回结果的函数对象。片段中的 List.of() 要求 JDK 9 或更高版本,所选 Resilience4j 版本还可能有更高的 JDK 要求。
java
// API 随具体 Resilience4j 版本可能变化,使用时需核对版本文档。
Supplier<List<Item>> decorated = CircuitBreaker.decorateSupplier(
circuitBreaker,
() -> recommendationClient.load(userId));
try {
return bulkhead.executeSupplier(decorated);
} catch (Exception e) {
return List.of(); // 仅当业务允许空推荐时
}decorateSupplier 将推荐调用包装为受熔断器保护的函数,创建包装对象时不会执行推荐调用。按片段中的同步执行结构,外层 bulkhead(舱壁隔离组件)先判断是否允许进入,再由熔断器判断是否允许调用推荐服务。不能仅凭这段包装代码认定调用已被转移到专用线程池;隔离方式和等待规则需结合实际组件的类型、API 与配置确认。
预期行为是:正常调用返回推荐列表;隔离拒绝、熔断拒绝或推荐调用抛出被 catch 捕获的异常时,返回空列表。空推荐必须符合业务要求。这个片段没有设置调用超时,也不会因为包装了熔断器就自动终止正在等待的调用。
示例捕获了所有 Exception,便于展示降级路径。生产代码还应区分超时、业务错误、限流和熔断拒绝,记录降级原因,避免把程序缺陷也隐藏成空推荐。
6. 容易踩的坑
- 降级逻辑再次调用同一个故障依赖。 替代路径仍受同一故障影响,无法缩短等待。
- 所有错误都计入熔断。 参数校验失败等业务错误未必表示下游不健康,应明确哪些结果参与统计。
- 半开时一次放行过多请求。 下游刚开始恢复就承受集中流量,可能再次过载。
- 多个独立依赖或方法共用不合适的保护范围。 一个接口的失败可能触发整组调用的熔断,扩大影响面;保护范围应与实际共享的资源和故障边界对应。
- 返回虚假默认值。 把未知余额写成 0、把未知权限当作允许,会破坏业务正确性。
- 只配置熔断,不限制断开前的并发和队列。 熔断需要先积累统计结果,在此之前资源就可能被耗尽。
7. 总结
设计容错策略时,先划定每个依赖的资源份额和等待上限,再根据样本量、错误率、慢调用与恢复探测设置熔断规则,最后为每条失败路径定义业务允许的结果。
隔离控制故障能占多少资源,熔断控制何时暂停尝试,降级决定失败后怎样保持业务语义。 框架负责执行保护规则,业务负责决定哪些功能可以省略、哪些事实必须明确查询失败。
下一篇:加了 Redis,接口为什么反而更不稳定:缓存读写的完整链路。