外观
31 - Semaphore 并发许可与资源保护
适用 JDK:JDK 8+。
摘要
假设下游只能稳定承受 50 个并发请求,即使本地有更多线程,也不能让它们同时访问下游。需要限制的是同时占用资源的任务数。Semaphore(信号量)用一组可获取、可归还的许可表达这个上限;许可可以理解为进入受保护操作的名额。
以 50 个许可、每次调用占用一个为例:任务先获取许可,成功后才调用下游;调用结束后归还许可,其他任务才能使用这个名额。没有可用许可时,新任务只能等待,或按获取方法和等待预算决定是否失败。要限制同一组任务,它们必须共用同一个 Semaphore,并且都遵守获取与释放协议。
Semaphore 管理的是许可计数,不会替你创建连接或保护资源对象内部的数据。本文先说明并发数、等待和释放,再讨论异步交接、公平性、多资源与动态调整。
1. 并发数不是 QPS
并发数是在同一时刻尚未结束的请求数量,这些请求也称为在途请求;QPS 是每秒处理的请求数,描述速率。在系统较稳定、统计范围一致时,平均在途请求数近似满足下面的关系,其中到达率以请求数/秒计,占用时间以秒计:
text
在途请求数 ≈ 到达率 × 平均占用时间同样是 50 个许可,请求平均耗时 10ms 时,名额很快就能归还给后续请求;耗时 2s 时,名额会被占用更久,单位时间能完成的请求就更少。这是机制上的说明,不是实测吞吐记录,也不能仅凭许可数推断实际 QPS。
因此 Semaphore 保护的是连接、内存或下游在途容量,不负责平滑每秒进入速率。下游变慢时,许可会更晚归还,新请求就会等待或失败,从而限制继续进入下游的任务数;等待中的任务本身仍可能占用本地线程和内存。
速率控制见 算法 27 - 限流算法实战。两者经常需要组合,而不是互相替代。
2. 正确的获取与释放
下面是 JDK 8+ 的同步调用片段,省略了导入、所在方法及业务类型定义,不能直接作为完整程序运行。permits 是共享的 Semaphore;remainingBudget 是请求剩余的等待预算,单位为纳秒;TimeUnit 来自 java.util.concurrent。OverloadedException 是业务自定义异常,callDownstream() 表示同步下游调用。
java
boolean acquired = false;
try {
acquired = permits.tryAcquire(remainingBudget, TimeUnit.NANOSECONDS);
if (!acquired) {
throw new OverloadedException("downstream concurrency exhausted");
}
return callDownstream();
} finally {
if (acquired) {
permits.release();
}
}tryAcquire 在预算内获取一个许可,成功返回 true,等待超时则返回 false。acquired 记录本次是否成功获取:只有它为 true,finally 才归还许可。因此,下游正常返回或抛出异常时都能释放,而获取失败时不会凭空增加许可。带超时的获取还可能因线程中断抛出 InterruptedException,所在方法需要传播它,或按调用链的中断策略处理。
**Deadline(截止时间)**规定请求最晚应在何时结束。等待预算应根据这个截止时间计算,而不是每到一个步骤就重新等待固定时长;否则上游已经超时,本地任务却仍在排队。获取许可消耗的时间也必须计入请求预算,后续下游调用应使用剩余预算。
底层调用还需要连接、读取和整体超时。获得许可只代表允许进入,不保证调用一定结束;如果调用一直占用资源,许可也会一直被占住。
3. 许可泄漏与许可膨胀
许可泄漏是成功获取后没有归还,导致可用名额越来越少,最终可能归零;许可膨胀是归还了未获取的许可,或对同一次获取重复归还,导致名额超过原定上限。前者会阻止正常请求进入,后者会削弱容量保护。常见原因包括:
- 异常路径跳过释放,造成泄漏;
- 获取失败后仍执行释放,增加了未曾占用的名额;
- 重试代码和外层清理代码各释放一次,悄悄扩大并发;
- 异步调用的多个结束分支都释放,造成双重释放;
- 把许可交给另一个任务后,没有明确谁负责归还、何时归还。
可将一次许可占用包装为 Guard(释放句柄),由它统一归还许可。Guard 自身仍要保证重复关闭只释放一次。如果获取后提交任务被拒绝,任务不会执行,也就不会触发任务内部的清理;提交方必须覆盖这条释放路径。
3.1 Semaphore 不记录线程所有权
ReentrantLock 是由持有锁的线程解锁的互斥锁;Semaphore 不记录这样的线程所有权,允许一个线程获取、另一个线程释放。这适合异步资源交接,也意味着应用不能依赖 Semaphore 自动发现“由不该释放的线程释放”或“重复释放”。
异步调用应把许可与一次请求实例绑定,并确保只有一个完成路径归还。超时、取消、正常完成和异常完成可能互相竞争,必要时使用一次性 Guard 或原子标记,让“判断是否已释放”和“标记为已释放”不能被并发拆开。不能同时在调用方超时分支和底层完成回调中无条件 release()。
释放时机还必须对应实际保护的资源:如果许可限制的是底层在途调用,调用方超时只表示它不再等待,不一定表示底层工作已停止。此时提前归还,即使只归还一次,也可能让新调用进入后超过真实并发上限。第 2 节的同步片段不能直接套在“提交后立即返回”的异步调用外层,应在底层工作真正结束或确认停止时归还。
4. 公平性与吞吐
公平性关注等待者获取许可的顺序。公平 Semaphore 倾向按等待顺序分配许可,能减少后来者插队,但通常增加调度和队列维护成本。非公平模式允许新到线程抢先获取,可能提高吞吐,也可能让个别请求等待更久,增加尾延迟(延迟分布中较慢那部分请求的耗时)。这些性能影响需在具体负载下测量。
公平性不保证业务请求按到达时间完成:获得许可后的下游耗时、线程调度和重试仍会改变完成顺序。是否启用应基于饥饿风险(某些等待者长期得不到许可)和实测结果。
还要注意,无参数的 tryAcquire() 即使在公平 Semaphore 上也允许插队。需要遵守公平排队语义时,应在公平实例上使用 acquire() 或带超时的获取方法。公平顺序以方法内部特定的排队点为准,不是业务请求的完整到达或完成顺序;FIFO(先进先出)也不能理解为先到的请求一定先完成。
5. 加权任务与多资源
加权任务是按资源需求占用不同数量许可的任务。acquire(int permits) 可以让大任务一次占用多个许可,但必须保证权重单位稳定:所有任务都按同一套规则估算资源需求,否则许可计数无法表达统一的容量。请求权重不应超过总容量,并且正常与异常路径都要释放与获取完全相同的数量。
任务同时需要数据库连接和远端许可时,按不同顺序获取多个资源可能死锁或长时间占有资源。例如,一个任务持有连接等待远端许可,另一个持有远端许可等待连接,两者就可能互相等待。应规定所有任务遵守的全局获取顺序,或在获取后续资源失败时及时释放前序资源并退避(稍后再尝试),避免占着稀缺资源继续等待。
6. 动态调整的风险
Semaphore 没有面向业务的“无损缩容”协议,也就是不能仅修改一个目标数字,就自动协调所有正在占用资源的任务。增加许可容易;降低目标并发时,已经发出的许可不能被强制收回,相关任务仍可能继续执行。
通过额外 acquire 长期占住一部分许可,可以减少其他任务能获取的名额,但这部分占用也需要管理:何时获取、何时归还、调整任务失败或系统关闭时如何处理,都必须明确,否则会制造新的泄漏。
动态并发控制更适合维护独立的目标值和在途计数,并用明确的状态机描述任务何时进入、结束以及计数如何变化,再据此决定新请求是否进入,参见 33 - 自适应并发控制与过载保护。
7. 观测与验证
以下是观测和测试建议,本文未执行这些测试,也未提供实测记录。重点是同时检查“名额是否正确归还”和“名额是否覆盖实际资源占用时间”:
- 记录获取等待时间、超时数、在途数和下游耗时;
- 对可用许可数设置合理性检查,但不要把某一时刻的快照当成完整历史,它不能单独证明每次获取都正确释放;
- 注入同步异常、异步失败、取消和提交拒绝;
- 验证所有控制流中获取与释放严格对称;
- 压测时同时观察连接池和下游容量,防止许可上限高于真实瓶颈;
- 并发触发调用方超时和底层完成,验证许可不会归还两次,也不会在底层仍占用资源时提前归还;
- 公平模式下单独测试无参数
tryAcquire(),避免错误假设所有获取方式都遵循 FIFO。
8. 总结
Semaphore 保护的是同时占用资源的数量,不是请求速率。
- 等待许可必须服从请求 Deadline。
- 每次成功获取的许可必须归还一次,归还时机应对应实际资源占用结束;跨线程交接时明确归还责任。
- 多资源获取、公平性和动态缩容都需要单独设计。