外观
11 - Java 并发协调工具选型
适用 JDK:JDK 8+。
摘要
批量查询时,调用方要等任务结束;访问下游时,要限制同时占用资源的请求数;分阶段计算时,要等所有参与者完成本阶段再继续。这些问题都涉及线程协调,但等待的条件不同,不能只因为某个工具能让线程等待就选用它。
先确定协作模型:是计数归零、固定参与者汇合、获取资源许可,还是动态参与者推进阶段。再确定失败时怎么办:超时后停止等待是否足够,是否还要取消任务、汇总异常或释放资源。
本文的 Java 代码均为局部片段,未编译运行。使用时需补充 java.util.concurrent 中的相关导入、业务类型和方法,并处理或声明受检异常。executor 是任务执行器,例如线程池;Task、BusyException、doPart() 和 callDownstream() 等由业务提供。许可数和超时时间仅为示例配置,不是实测记录或通用推荐值。
1. CountDownLatch:一次性等待
CountDownLatch(倒计时门闩,简称 Latch)维护一个初始计数。每次 countDown() 将计数减一,计数到 0 后,等待 await() 的线程可以继续。它统计事件,不要求等待线程也参与计数。
下面把每个任务退出视为一次事件,因此无论任务成功还是抛错,都要减一次计数。
java
CountDownLatch done = new CountDownLatch(tasks.size());
for (Runnable task : tasks) {
executor.execute(() -> {
try {
task.run();
} finally {
done.countDown();
}
});
}
if (!done.await(5, TimeUnit.SECONDS)) {
throw new TimeoutException("batch did not finish");
}在这个示例中,countDown() 放在 finally,避免任务抛错后漏减计数。带超时的 await() 在等待 5 秒后仍未归零时返回 false,调用方据此抛出异常;这不会自动停止仍在执行的任务。Latch 降到 0 后不能重置,下一批任务需要新的 Latch。
Latch 只表达“N 个事件已发生”,计数归零不代表全部成功,也不自动传播子任务异常。调用方还需要保存 Future(用于获取任务结果或异常的句柄)、使用并发安全的错误汇总,或选择能表达结果和失败的更高层结构。本例使用 execute(),不会直接得到 Future。
这段代码也没有处理提交拒绝:初始计数包含全部任务,若线程池拒绝其中一个任务,该任务就不会进入 finally。完整流程需要决定如何处理未提交任务,并清理或等待已经提交的任务。
2. CyclicBarrier:固定参与者的反复汇合
CyclicBarrier(循环屏障,简称 Barrier)要求固定数量的参与者到达同一个汇合点。每个参与者先完成自己的工作,再调用 await();最后一个到达后,本轮汇合完成,参与者才能继续下一阶段。它可重复使用,区别于只归零一次的 Latch。
下面要求 3 个参与者汇合,构造器中的回调用于在本轮全部到达后执行共同动作。
java
CyclicBarrier barrier = new CyclicBarrier(3, () -> {
System.out.println("all parties arrived");
});
void phase() throws Exception {
doPart();
barrier.await(2, TimeUnit.SECONDS);
}等待期间的超时、中断,或屏障回调抛错,都可能使 Barrier 进入 broken(已破坏)状态,使本轮无法正常汇合;其他等待线程会收到 BrokenBarrierException。业务任务在汇合点之外抛错,则需要调用方另行传播失败。
如果一个参与者在调用 await() 之前就退出,其他线程仍可能等待它。示例中的单次等待最多 2 秒,但这个超时不覆盖 doPart() 的执行时间;如果使用无超时的 await(),等待可能一直持续。因此还需要整批超时、失败传播和取消机制,不能只处理 BrokenBarrierException。
3. Semaphore:控制同时使用资源的数量
Semaphore(计数信号量)维护一组许可,每个许可代表一个资源使用名额。任务先获取许可,再访问资源,结束后归还。许可用完时,后来的任务必须等待或放弃获取,不需要与其他任务在某个阶段汇合。
下面用 20 个许可限制同时执行 callDownstream() 的任务数,获取许可最多等待 200 毫秒。
java
Semaphore permits = new Semaphore(20);
boolean acquired = permits.tryAcquire(200, TimeUnit.MILLISECONDS);
if (!acquired) {
throw new BusyException();
}
try {
callDownstream();
} finally {
permits.release();
}这个资源保护协议要求只在成功获取后执行一次 release()。获取失败仍释放,或重复释放,会增加可用许可,破坏原定上限;成功获取后漏释放,则会让后续任务越来越难获得名额。
Semaphore 限制的是并发数,即同时占用资源的数量,不是每秒请求数(QPS)。任务变快时,许可更快归还,同样的许可数就可以产生更高 QPS。获取许可的超时也不约束 callDownstream() 的执行时间,下游调用仍需自己的超时与取消处理。
并发上限应来自被保护资源的容量,例如数据库连接数、慢下游最大并发或内存预算,而不是从调用方的线程数反推。QPS 限流的算法差异见 算法 27 - 限流算法实战。
4. Phaser:动态参与者和多阶段
Phaser(阶段协调器)为每一轮协作维护阶段编号和已注册参与者。参与者报告本阶段已到达,当前阶段的参与者都到达后,阶段才能推进。与 Barrier 的固定数量相比,它允许动态注册和注销参与者。
register() 增加参与者;arriveAndAwaitAdvance() 报告到达并等待阶段推进;arriveAndDeregister() 报告到达并退出后续协作。下面先注册一个主调度者,避免任务尚未全部提交时就提前推进阶段。各任务完成第一阶段后汇合,再执行第二阶段;主调度者完成提交后注销,不再参与任务间的汇合。
java
Phaser phaser = new Phaser(1); // 主调度者
for (Task task : tasks) {
phaser.register();
try {
executor.execute(() -> {
try {
task.phaseOne();
phaser.arriveAndAwaitAdvance();
task.phaseTwo();
} finally {
phaser.arriveAndDeregister();
}
});
} catch (RejectedExecutionException e) {
phaser.arriveAndDeregister(); // 提交失败也要撤销注册
throw e;
}
}
phaser.arriveAndDeregister();动态参与的代价是必须管理每个参与者何时加入、到达和退出。若某个已注册参与者既不到达也不注销,其他参与者就可能一直等它,阶段无法推进。
提交拒绝时撤销本次注册是必要的:任务永远不会运行,也就不会执行自己的 finally。不过,这段代码还不是完整的失败处理流程:拒绝后直接抛出异常,会跳过循环后的主调度者注销;已提交任务可能仍在等待该参与者到达。示例中的阶段等待也未设置超时。实际使用还需设计主调度者的异常清理、整批超时和取消流程。
5. 选型表
| 问题 | 工具 |
|---|---|
| 等 N 个事件发生一次 | CountDownLatch |
| N 个固定线程反复在阶段末汇合 | CyclicBarrier |
| 限制同时访问稀缺资源的数量 | Semaphore |
| 动态增减参与者、多阶段协作 | Phaser |
| 线程之间交换一对数据 | Exchanger |
Exchanger 是两方数据交换器:两个参与者在交换点相遇,各自取得对方提供的数据。它适合成对交换,不用于等待一批任务结束。选型表只区分协作模型,失败处理仍需单独设计。
6. LockSupport
LockSupport.park() / unpark(thread) 是更底层的线程挂起与唤醒机制。这里的许可(permit)是针对目标线程的一个可用标记,最多保留一个:unpark(thread) 可以先于该线程的 park() 调用,但连续多次调用不会积累多个许可。它与 Semaphore 的多个资源名额不同。
业务代码通常优先使用更高层同步器,除非正在实现底层并发组件。
park() 可以因获得许可、中断或无明确原因而返回。最后一种情况称为虚假唤醒:线程恢复执行,并不表示业务条件已经满足。因此,它和 Condition.await()(锁关联条件上的等待)一样,需要在外层循环检查条件,并明确处理中断。唤醒只是让线程有机会重新检查,不能代替条件本身。
7. 失败语义决定工具是否合适
失败语义是指发生错误后,调用方和其他参与者应如何行动。同步器只提供部分协调能力;停止等待、传播失败和停止底层工作,需要分别设计。
| 问题 | 需要明确的失败语义 |
|---|---|
| 等一批任务 | 某个任务失败后是继续、尽快失败还是取消全部 |
| 阶段汇合 | 参与者缺席或超时后如何打破本轮等待 |
| 资源许可 | 获取超时时是拒绝、降级还是转入排队 |
| 多阶段任务 | 中途注册/注销失败如何终止阶段 |
只能表达“等待”而不能自然表达结果、异常和取消的工具,不宜硬用于复杂任务编排。这类场景可对比 10 - CompletableFuture 异步编排。
8. 验证与排障
- 每个等待测试都设置总超时,失败时输出未完成参与者。
- 注入中断、任务抛错、提交拒绝和重复释放许可。
- 检查所有获取/释放、注册/注销是否在每条控制流上对称。
- 同一小线程池内任务互相等待时,检查被等待的任务能否获得工作线程。如果所有工作线程都被等待者占住,而推进条件所需的任务还在队列中,就可能发生线程饥饿死锁:等待者不退出,队列中的任务也无法开始。排查方法见 15 - 线程池任务堆积与接口超时。
9. 容易踩的坑
- 把 Latch 归零当作所有任务成功,漏掉异常汇总。
- 只处理 Barrier 的等待异常,忽略到达汇合点之前退出的参与者。
- 把 Semaphore 的获取超时当作下游调用超时,或把并发上限当作 QPS 上限。
- Phaser 提交拒绝时只撤销任务注册,漏掉主调度者的异常清理。
- 仅按线程池大小和任务数判断是否会死锁,没有检查等待依赖和队列中的任务能否执行。
10. 总结
同步工具的选型先看协作语义:等待完成、阶段汇合、资源限制还是动态协作。
- 计数归零、阶段推进和获得许可,都只表示各自的协调条件满足,不代表业务全部成功。
- 超时与异常路径要覆盖整个协作过程;停止等待后,还需明确剩余任务和资源如何处理。
- 资源许可的获取与释放、参与者的注册与注销,都要覆盖正常和异常控制流,并检查线程池能否执行推进条件所需的任务。
延伸阅读:31 - Semaphore 并发许可与资源保护深入许可泄漏、Deadline 和动态调整边界;计算并行方向见 12 - ForkJoinPool 与并行流。