外观
32 - 舱壁隔离与执行器分池
适用 JDK:JDK 8+。框架级 Bulkhead 的具体行为需以所用版本文档为准。
前置阅读:09 - ThreadPoolExecutor 参数与容量设计、31 - Semaphore 并发许可与资源保护。
摘要
推荐服务偶发变慢,为什么登录和支付也一起超时?在共享线程池中,如果推荐调用同步等待下游,工作线程就会被占住更久;新任务继续进入时,队列逐渐积压。登录和支付即使没有调用推荐服务,也可能因为拿不到工作线程而超时。
**舱壁隔离(Bulkhead)**借用了船舱分隔的思路:预先为不同任务组划分资源份额,限制一组故障能波及的范围。执行器负责接收并安排任务执行,线程池是常见实现;执行器分池就是让不同任务组使用各自的池和队列。分池只是隔离的一种手段,还要检查连接、内存等共享资源。
本文先解释如何划分资源和容量,再讨论跨池等待、拒绝策略及排障。目标是让故障影响可控,而不是为每个接口机械创建一套线程池。
1. 先识别共享故障域
故障域是可能被同一个故障共同影响的一组任务或资源。识别它时,可以沿请求路径追问:任务在哪里执行、在哪里等待、需要占用哪些资源?常见共享资源包括:
- 业务执行线程和任务队列;
- HTTP 或数据库连接池;
- Semaphore(信号量)许可,即进入受保护操作的并发名额;
- 内存缓冲与并发请求预算,即允许同时处理的请求数量上限;
- 重试预算,即允许追加的重试次数或流量,以及日志、序列化任务使用的线程。
例如,推荐和支付各用一个线程池,却仍共用同一个 HTTP 连接池。推荐调用长时间占住连接后,支付线程仍可能等待连接;执行线程分开了,连接层的竞争却还在。反过来,只拆连接池而继续共用执行器,又不限制提交并发,两类任务仍可能在公共队列里共同堆积。
因此,要检查整条资源链路,而不能仅凭“已经分池”判断隔离有效。独立连接池或许可配额可以限制相互挤占,但无法消除共享 CPU、内存或同一下游本身故障的影响。
2. 何时值得隔离
划分边界前,先明确 SLO(服务等级目标),例如业务要求的成功率和延迟目标。需要保护的程度不同,资源份额和过载后的处理方式也会不同。优先考虑以下边界:
- 核心与非核心业务;
- 延迟和可靠性特征差异明显的下游;
- 阻塞 I/O(等待网络、磁盘等操作完成)与 CPU 密集任务(主要消耗计算时间);
- 可降级流量与必须完成的后台任务;
- 不同租户或优先级需要明确配额。
如果任务负载、SLO 和故障域完全相同,过度分池通常收益有限,还会造成容量碎片化:一个池任务排满,另一个池却有空闲线程,而空闲份额不能直接用于前者。池越多,容量、超时和拒绝策略等运维参数也越多。
3. 线程池隔离不是总容量增加
text
总线程预算 = 核心池 + 推荐池 + 报表池 + 管理线程 + 其他框架线程上式是预算关系,其中“核心池”“推荐池”“报表池”表示各池的线程预算,不是对象相加。拆成多个池后,如果每个池都独立扩大容量,总线程数和队列占用的内存可能显著增加。线程增多还可能增加上下文切换,即 CPU 在不同线程之间保存、恢复执行状态的开销,并不会自动增加处理能力。
应先设进程级总预算,再分配给各舱壁,并保留系统恢复和管理操作所需资源。各池的线程上限、队列容量和连接配额需要一起评估;只控制线程总数,仍可能让等待任务占用过多内存。
使用虚拟线程时,需要支持该特性的 JDK,不能直接套用本文的 JDK 8 基础条件。虚拟线程场景通常不通过固定线程池隔离阻塞任务,而是用 Semaphore、连接池或业务并发计数限制稀缺资源:等待所用的线程更轻量,不代表下游能承受更多同时进行的调用。CPU 密集工作仍需有界并行度,也就是限制同时执行计算的任务数量。
3.1 跨舱壁同步等待会重新耦合
假设 A 池中的任务提交工作给 B 池后,同步等待结果;B 池中的任务又提交回调给 A 池,并等待回调结束。如果两个池的工作线程都被这些等待者占满,队列中的后续任务就没有线程可用,即使队列尚未达到上限,也可能形成线程饥饿死锁:推进任务需要工作线程,但工作线程全在等待任务推进。
text
A 工作线程全部等待 B → B 工作线程全部等待 A → 两侧都无法推进应绘制执行器依赖图,标出“哪个池等待哪个池”,避免形成等待环。跨舱壁调用优先使用明确的异步完成、超时和取消协议:等待结果时不占住工作线程,并定义等待多久、超时后谁负责清理。调用方超时或请求取消不一定表示底层任务已经停止,资源释放仍需对应实际执行状态。仅把池扩大通常只是推迟复现。
4. 队列和拒绝策略属于隔离契约
隔离契约是每个任务组对容量和超出容量后的行为所作的约定。线程份额限制同时执行的任务,队列容量限制等待的任务;如果允许无限排队,慢任务仍可能持续消耗内存和请求时间。每个舱壁必须明确:
| 问题 | 可选策略 |
|---|---|
| 队列满 | 快速失败、降级、调用方执行或有限等待 |
| 请求已过期 | 入队前或执行前拒绝 |
| 下游持续慢 | 降低并发、熔断或摘除非核心流量 |
| 舱壁空闲 | 是否允许临时借用容量 |
表中的策略需要提交方和业务逻辑配合,并非仅配置一个拒绝策略就全部生效。例如,有限等待应受请求截止时间约束;请求已过期时,通常不应再为它开启一段新的固定等待。
容量借用可能提高平均利用率,却可能在故障时破坏隔离保证:非核心任务借走核心份额后,核心流量到来时未必能立即取回。若允许借用,必须定义借用份额如何回收,以及核心业务最低保留容量。
CallerRunsPolicy 是线程池的一种拒绝策略,可能让提交线程执行被拒任务,从而跨过原有舱壁。如果提交者属于接收请求的入口线程、另一业务池或 EventLoop(负责轮询事件并分发处理的事件循环线程),慢任务就可能占住这些线程,把拥塞传播回原本隔离的区域。是否允许调用方执行必须成为舱壁契约的一部分;还需按所用实现核对关闭状态下的拒绝行为。
5. 与熔断、限流的关系
- 限流控制进入速率,例如每秒允许多少请求;
- 并发限制控制在途请求数量,即已经开始但尚未结束的请求数,借此约束资源占用;
- 舱壁限制一个故障域可占用的资源份额;
- 熔断在失败或慢调用达到条件后暂时阻止继续调用;
- 降级定义无法调用时返回什么。
以慢推荐调用为例,限流可以减少进入速率,但调用变慢后,每个请求仍会更久地占用资源;并发限制约束同时进行的调用,舱壁进一步限制推荐业务能占用的份额。熔断根据失败或慢调用信号暂时停止尝试,降级则决定此时返回什么。它们作用不同,通常需要组合。完整服务治理视角见 分布式 15 - 熔断、隔离与降级。
6. 排障方法
以下是排障和故障演练建议,本文未执行演练,也未提供实测记录。先观察资源占用,再检查故障如何跨边界传播:
- 为每个舱壁记录
active(活跃工作线程数)、queue(等待任务数)、rejection(拒绝计数),以及排队等待时间和执行时间; - 对照公共连接池、CPU、内存和下游指标,确认是否仍共享真正瓶颈;
- 检查拒绝后是否立即重试并绕回同一舱壁;若存在这种重试,过载拒绝可能转化为更多提交;
- 检查核心请求是否依赖非核心池中的任务,形成反向耦合;
- 在故障演练中让单个下游持续变慢,对照正常状态观察其他舱壁的 P99 和成功率。P99 是延迟的第 99 百分位数,即约 99% 的观测值不超过该值,用于观察较慢请求的耗时;
- 生成执行器依赖图,检查跨池同步等待环和
CallerRunsPolicy的传播路径; - 检查健康检查、配置刷新和关闭操作是否与业务任务共享已耗尽的池。
管理与恢复操作应保留独立、很小且有严格用途的执行能力,避免业务池耗尽后连熔断恢复、租约续期(延长有时限的持有资格)或优雅关闭都无法运行。这部分资源不能再接收普通业务任务,否则恢复通道也可能被业务占满。
7. 总结
舱壁隔离通过预先划分资源限制故障半径,但会牺牲部分容量共享效率。
- 按故障域和 SLO 隔离,不按接口数量机械分池。
- 联合评估线程、队列、连接和许可,检查仍然共享的瓶颈。
- 必须用慢下游演练验证隔离是否真实存在。