外观
10 - CompletableFuture 异步编排
适用 JDK:JDK 8+;
orTimeout()和completeOnTimeout()需要 JDK 9+。
前置阅读:09 - ThreadPoolExecutor 参数与容量设计。线程上下文边界见 B - ThreadLocal 内存泄漏与上下文污染。
摘要
把多个查询改成 CompletableFuture 后,接口为什么可能更慢?互不依赖的查询可以并发提交,但它们仍要竞争线程、连接和下游处理能力。如果任务排队更久,或提交一个任务后就立即等待,改成异步也未必能缩短耗时。
本文先说明如何表达任务依赖,再讨论执行线程、异常、超时和批量任务的资源边界。Java 代码均为局部片段;使用时需补充 java.util.concurrent、java.util.List、java.util.stream.Collectors 等导入,并提供示例中的业务类型、服务、方法和线程工厂。线程数、队列容量和超时时间是示例配置,不是实测结果或通用推荐值。
1. 组合而不是嵌套
CompletableFuture<T> 可以看作一个结果句柄:结果尚未产生时处于未完成状态,之后可以正常完成并保存值,也可以异常完成。取消是另一种需要单独处理的完成情况。这个句柄本身不是线程,执行任务的线程由 Executor(任务执行器,例如线程池)安排。
异步编排是在结果句柄之间声明依赖:某个结果就绪后做什么,或哪些结果都就绪后才能继续。链中的每一步称为一个阶段。注册后续阶段不要求调用线程先阻塞取出结果,因而可以把“提交工作”和“等待最终结果”分开。
下面假设用户查询和订单查询都只依赖已有的 id,不依赖彼此的返回值。两次 supplyAsync() 分别把有返回值的任务提交给 ioPool;两个查询都正常完成后,thenCombine() 使用结果构造 UserView。
java
CompletableFuture<User> userFuture =
CompletableFuture.supplyAsync(() -> userService.find(id), ioPool);
CompletableFuture<List<Order>> orderFuture =
CompletableFuture.supplyAsync(() -> orderService.findByUser(id), ioPool);
CompletableFuture<UserView> result = userFuture.thenCombine(
orderFuture,
UserView::new
);常用组合方法按依赖关系区分:
| 方法 | 后续操作 | 适用关系 |
|---|---|---|
thenApply() | 接收上一阶段的值,返回一个新值 | 如把查询结果转换成展示对象 |
thenCompose() | 接收上一阶段的值,返回另一个 CompletableFuture,再衔接其结果 | 下一次异步查询依赖上一次查询结果 |
thenCombine() | 接收两个阶段的结果,返回一个新值 | 汇合两个可以独立提交的查询 |
“展平”是指避免得到 CompletableFuture<CompletableFuture<T>> 这样的两层结果句柄,让后续代码直接面对 CompletableFuture<T>。方法名描述的是依赖与转换,回调在哪个线程执行还要看第 3 节。
示例中的 result 仍是结果句柄。若先提交用户查询、立即 join() 等它结束,再提交订单查询,就失去了两个查询重叠执行的机会。若两个任务已提交,再等待最终结果,任务仍可能并发运行,只是等待的调用线程会被占用。
2. 默认线程池风险
java
CompletableFuture.supplyAsync(this::blockingCall);未指定 Executor 时,异步阶段通常使用 ForkJoinPool.commonPool(),即进程级共享的线程池。慢 I/O(网络、磁盘或数据库等待)会长时间占用执行线程;多个模块共享这个池时,一类任务的等待可能挤占另一类任务的执行机会。
java
ExecutorService ioPool = new ThreadPoolExecutor(
20, 20, 0, TimeUnit.SECONDS,
new ArrayBlockingQueue<>(200),
namedFactory("profile-io"),
new ThreadPoolExecutor.AbortPolicy()
);示例为这类任务提供专用线程池:最多 20 个池内工作线程,队列最多保存 200 个待执行任务;namedFactory("profile-io") 是需要自行提供的命名线程工厂。线程池无法接收任务时,AbortPolicy 通过抛出异常拒绝提交。
这些上限应根据下游容量设置。例如数据库连接不足时,增加查询线程可能只是增加等待连接的任务。专用池能隔离线程和排队预算,不能扩大共享下游的容量。调用方还需处理提交拒绝,并纳入降级流程,即改用缓存、备用结果或明确返回暂不可用。线程池的创建和关闭应由应用统一管理。
3. 同步后缀与 Async 后缀
这里的“同步”指没有 Async 后缀的方法,并不是说整条链都会同步执行。thenApply() 可能由完成上一阶段的线程执行;如果上一阶段已完成,也可由当前注册回调的线程执行。因此不能仅凭方法名假设它总在业务线程池中运行。
thenApplyAsync() 会把回调交给 Executor 调度,未指定执行器时通常使用 commonPool。非常短的纯计算转换不必为了“全异步”强制切换线程;慢调用或不可控阻塞则应明确执行器,避免占住负责完成上一阶段的线程。
4. 异常处理
异常也会沿阶段依赖传播。上一阶段异常完成时,普通的值转换通常不会执行;恢复方法则决定继续传播错误,还是把它转换成可用的备用值。
java
future
.thenApply(this::transform)
.exceptionally(error -> fallback(error));exceptionally():只处理异常,返回备用值;回调正常返回后,返回阶段可以继续正常处理。handle():正常或异常都处理,接收结果和异常,并返回新值。whenComplete():常用于观察结果、记录指标和日志,回调本身正常结束时保留原来的结果或异常。
示例的 exceptionally() 位于转换之后,用来处理上游任务或 transform 的失败。返回备用值意味着业务接受这次降级,不应只为消除异常而掩盖错误;最终结果或最终异常仍需有明确的接收方。
join() 和 get() 在结果未完成时都会等待。获取异常完成的结果时,join() 通常抛出非受检的 CompletionException;get() 通常抛出受检的 ExecutionException,等待过程中还可能因中断抛出 InterruptedException。受检异常要求调用方捕获或在方法签名中声明,非受检异常没有这一编译要求;两者都需要业务处理。取消情况应单独考虑,不能把所有失败都当作普通业务异常。
whenComplete() 的观察逻辑如果再次抛错,也会影响返回阶段的异常结果。记录日志和指标的回调应尽量不失败,并保留原始异常;不要因监控系统故障覆盖真正的业务错误。
5. 超时和取消
超时首先要回答“多久之后不再接受这个结果”,其次才是“如何停止消耗资源”。下面在异步调用上设置 800 毫秒超时,并在异常时调用备用逻辑;超时 API 需要 JDK 9+。
java
CompletableFuture<Result> future = CompletableFuture
.supplyAsync(this::callRemote, ioPool)
.orTimeout(800, TimeUnit.MILLISECONDS)
.exceptionally(this::fallback);orTimeout() 在指定时间内仍未完成时,让 Future 异常完成;completeOnTimeout() 则在超时时使用指定备用值正常完成。它们决定结果句柄的终态,不保证停止底层工作。
5.1 超时完成、取消和停止底层工作是三件事
| 动作 | Future 状态 | 底层 I/O / 任务 |
|---|---|---|
orTimeout() | 以异常完成 | 可能仍在执行 |
completeOnTimeout() | 以备用值完成 | 可能仍在执行 |
cancel(true) | 标记取消 | 不能假设一定收到中断 |
| HTTP/数据库客户端超时 | 取决于适配代码 | 才有机会真正终止等待 |
因此,HTTP 客户端、数据库驱动等仍需配置自身的连接和读取超时。CompletableFuture.cancel(true) 也不能普遍保证中断底层任务,需要结合任务、执行器及客户端的实际取消机制验证。
还有两个编排边界需要注意:
orTimeout()和completeOnTimeout()作用于调用它们的同一个CompletableFuture,不会自动创建与源任务隔离的副本。多个调用方共享同一个 Future 时,一个调用方附加超时可能改变其他观察者看到的结果。- 超时完成触发的非
Async后续阶段可能运行在负责完成 Future 的线程上。不要在异常恢复或完成回调中执行不可控阻塞工作;需要隔离时使用显式Executor的异步阶段。
Deadline 是整次请求必须完成的截止时刻,剩余预算是距该时刻还能使用的时间。全链路应传递绝对 Deadline 或剩余预算,每个阶段据此计算本地超时,而不是每层都重新获得完整的 800 毫秒。否则各层等待叠加后,可能超过调用方允许的总耗时。详见 分布式 11 - 超时预算与 Deadline。
6. allOf() 不会自动收集结果
两个结果可以用 thenCombine() 汇合,一批任务则可以用 allOf() 表达“等这些阶段全部完成”。它返回的是 CompletableFuture<Void>,只表示整体完成状态,不包含子任务的值,因此还需单独收集结果。
java
List<CompletableFuture<Item>> futures = ids.stream()
.map(id -> CompletableFuture.supplyAsync(() -> load(id), ioPool))
.collect(Collectors.toList());
CompletableFuture<List<Item>> all = CompletableFuture
.allOf(futures.toArray(new CompletableFuture[0]))
.thenApply(ignored -> futures.stream()
.map(CompletableFuture::join)
.collect(Collectors.toList()));代码需导入 java.util.stream.Collectors。这里先提交所有查询,再通过 allOf() 注册结果收集阶段。进入 thenApply() 的前提是聚合阶段正常完成,此时输入 Future 已正常完成,里面的 join() 用来取值,不是在逐个等待尚未结束的查询。若聚合阶段异常完成,这个普通转换阶段不会执行,也就不会得到列表形式的部分成功结果。
allOf() 不会因为其中一个任务失败就自动取消其余任务。调用方必须明确决定:是等全部结束后汇总错误,还是尽快失败并主动取消剩余工作;不要把这段结果收集代码当成完整的失败处理协议。
即使取消 allOf() 返回的聚合 Future,也不能假设所有输入 Future 会被递归取消。父阶段、子阶段和底层 I/O 的取消传播应由业务显式设计,并测试每个方向。
6.1 并发扇出必须受控
并发扇出是指一次请求派生出多个子任务;在途任务是已经提交但尚未结束的任务。上面的代码会遍历整个 ids 并尝试逐个提交,不能直接用于无界 ID 列表。线程池有界也不意味着调用方保留的 Future 和回调对象数量有界:例如一次尝试创建十万个 CompletableFuture,就可能形成大量对象存量,并遇到提交拒绝。这是规模示例,不是实测记录。
可使用固定窗口分批提交,或用 Semaphore(计数信号量)限制在途数量。也可采用需求式流协议,让消费方声明还能接收多少数据,再按需求推进处理。
如果用许可表示窗口名额,成功、异常、取消都要有对应的归还路径;获取许可后提交被拒绝,也必须归还。名额代表“Future 尚未完成”还是“底层工作仍在执行”需要先定义清楚,因为 Future 超时并不代表底层工作已经停止。相关资源许可协议见 31 - Semaphore 并发许可与资源保护。
7. 上下文传播
ThreadLocal 保存线程局部数据。MDC 是日志中使用的诊断上下文,Security Context 保存身份与权限信息,Trace Context 保存请求链路追踪信息。这些上下文不会因为创建了 CompletableFuture 就自动传播:提交线程和执行线程可能不同,工作线程也可能处理过其他请求。
如果通过 Executor 装饰器传播,也就是包装任务执行器以增加上下文处理,应在提交时捕获快照,执行前安装,并在 finally 中恢复原上下文。恢复是为了让线程回到本次执行前的状态;单纯 remove() 可能破坏嵌套调用原有的上下文。
对业务参数而言,显式传参通常比隐式 ThreadLocal 复制更容易推理和测试。
8. 可观测的异步链
可观测性是指能从记录中判断异步链卡在哪一步、为何失败。至少记录阶段名称、提交到开始的排队时间、执行时间、使用的 Executor、超时/取消/拒绝结果,以及底层调用是否完成。
总耗时无法区分任务在等线程,还是已开始执行却在等下游;Future 超时计数也不能说明底层资源已经释放。因此需要同时观察阶段耗时和底层调用终态,再决定调整线程池、下游超时还是并发上限。
如果排队是主因,转到 15 - 线程池任务堆积与接口超时;如果需要比较共享 commonPool 的执行模型,阅读 12 - ForkJoinPool 与并行流。
9. 容易踩的坑
- 阻塞 I/O 全部使用 commonPool。
- 每提交一个任务就立即
join(),使本可独立提交的任务变成串行等待。 - 只给 Future 设超时,底层请求仍无限阻塞。
- 异常链断裂,没有任何地方观察最终异常。
- 切换执行线程时,没有为 ThreadLocal/MDC 设计传播和恢复流程。
- 在共享 Future 上直接附加超时,意外改变其他调用方观察到的终态。
- 只取消聚合 Future,却假定所有子任务和底层 I/O 已停止。
10. 总结
CompletableFuture 解决的是任务依赖和组合,不是容量、超时和隔离问题。
- 阻塞任务使用专用有界 Executor。
- Future 超时不等于底层 I/O 已停止。
- 每条异步链都要有异常、超时、降级和监控策略。
阅读导航
- 协调原语选型:11 - Java 并发协调工具选型
- 分治任务编排:12 - ForkJoinPool 与并行流
- 任务生命周期:18 - 结构化并发与任务生命周期
- 超时与取消边界:17 - FutureTask 与任务取消