外观
12 - ForkJoinPool 与并行流
适用 JDK:JDK 8+。
摘要
把 stream() 改成 parallelStream(),批处理可能反而更慢,甚至拖累其他请求。并行处理需要先拆分数据,再调度多个任务,最后合并结果。只有节省的计算时间足以抵消这些额外成本时,才可能更快。
本文先用数组求和解释 Fork/Join 的基本模型,再讨论并行流的成本、共享线程池和阻塞边界。并行流依赖 ForkJoinPool,适合重点评估可高效拆分、每个子任务计算量足够大、合并成本可控的 CPU 计算。
本文 Java 代码均为局部示例,未编译运行。使用时需补充 RecursiveTask、集合和 Collectors 等类型的导入,以及业务数据和方法。customPool 表示自定义 ForkJoinPool;expensivePredicate、remoteCall、work、process 和 Result 等由业务提供。求和阈值 10_000 是示例值,不是实测结果或通用推荐值。
1. 分治与工作窃取
分治是把大问题拆成较小的同类问题,分别求解后再合并结果。例如,数组求和可以先分别计算左右两段,再把两个和相加;只要一段仍然太大,就继续拆分。
Fork/Join 用任务表达这个过程:fork() 让子任务有机会并行执行,join() 等待子任务完成并取得结果,ForkJoinPool 则负责调度这些任务。RecursiveTask<V> 表示可递归拆分且有返回值的任务,V 是结果类型,本例为 Long。
各工作线程维护自己的双端队列,即两端都可以存取任务的队列。当一个线程没有任务时,会从其他线程的队列取得待执行任务,这称为工作窃取。它让空闲线程帮助处理其他线程尚未完成的工作,减少因任务分配不均造成的空闲。
下面的 SumTask 计算数组区间 [start, end) 的和:包含 start,不包含 end。调用方需要提供合法区间、保证计算期间数组不被并发修改,并将根任务交给池执行;示例只展示任务类。
java
class SumTask extends RecursiveTask<Long> {
private static final int THRESHOLD = 10_000;
private final long[] values;
private final int start;
private final int end;
SumTask(long[] values, int start, int end) {
this.values = values;
this.start = start;
this.end = end;
}
@Override
protected Long compute() {
if (end - start <= THRESHOLD) {
long sum = 0;
for (int i = start; i < end; i++) sum += values[i];
return sum;
}
int middle = (start + end) >>> 1;
SumTask left = new SumTask(values, start, middle);
SumTask right = new SumTask(values, middle, end);
left.fork();
long rightResult = right.compute();
return left.join() + rightResult;
}
}区间长度不超过阈值时,compute() 直接循环求和;超过阈值时,拆成左右两段,最后相加。阈值决定任务粒度,也就是每个子任务处理多少工作。阈值过小会产生大量任务创建和调度开销;过大则可能留下太少的子任务,无法充分利用多个工作线程。没有适用所有任务的固定阈值,需用 JMH(Java 微基准测试工具)或实际数据集验证。
1.1 为什么先 fork 一边、当前线程计算另一边
示例调用 left.fork() 后,当前工作线程直接执行 right.compute(),算完右侧再通过 left.join() 取得左侧结果。这样一侧任务可供其他线程窃取,当前线程也继续计算,减少把两侧都交给调度器的额外开销。fork() 提供并行执行的机会,并不保证另一线程立即开始计算。
Fork/Join 更适合能递归拆分、子任务工作量相对均衡,并且大多数时间在执行 CPU 计算的任务。工作窃取只能重新分配待执行任务;如果某个很重的分支无法继续拆分,其他线程仍可能先完成并空闲,这就是负载倾斜。
2. 并行流的成本
流(Stream)用 filter、map、collect 等操作描述数据处理过程。并行流让框架负责拆分数据和组合局部结果,省去手写递归任务的代码,但拆分、调度和合并的成本仍然存在。下面对每条记录执行筛选,再统计符合条件的记录数;是否值得并行,取决于筛选计算量和数据规模。
java
long count = records.parallelStream()
.filter(this::expensivePredicate)
.count();评估时要把收益和成本放在一起看:
- 数据源拆分效率:能否低成本地分成工作量相近的部分;
- 每个元素的计算量:计算太轻时,调度成本可能占主要部分;
- 结果合并成本:局部结果能否高效组合,是否需要额外维持顺序;
- 并行度与 CPU 核数:可同时计算的任务数是否匹配实际 CPU 容量;
- 锁、I/O 和共享可变状态:是否让任务等待,或迫使多个任务串行访问同一资源。
小集合、简单映射、需要较高成本的有序合并,或高频阻塞 I/O,通常难以抵消并行开销。保留顺序本身不等于一定更慢,仍需结合具体操作和数据验证。
3. commonPool 污染
ForkJoinPool.commonPool() 是进程级共享池。这里的“污染”指一个模块占用共享执行资源,影响其他模块的任务,并不是数据被修改。
java
orders.parallelStream().forEach(order -> remoteCall(order));默认并行流通常使用 commonPool。如果示例中的 remoteCall 等待远端响应,工作线程就可能长期无法执行其他计算。多个请求同时这样做,可能占满共享工作线程,使其他并行流和使用该池的 CompletableFuture 异步任务等待更久。未指定 Executor(任务执行器)的异步任务与共享池的关系,详见 10 - CompletableFuture 异步编排。
服务端需要明确划分执行器和并发度,让不同业务的资源占用可控,而不是隐式共享同一个池。
不要把下面的包装当成跨 JDK 都有契约保证的池隔离方案:
java
customPool.submit(() -> data.parallelStream()
.map(this::work)
.collect(Collectors.toList())).join();这个包装把外层任务提交给 customPool,但并行流内部如何选择执行池,仍与实现和调用上下文有关。不能据此承诺在所有 JDK 上都实现严格隔离,更不宜让公共库的正确性依赖它。需要严格控制执行资源时,显式构造 ForkJoinTask(Fork/Join 任务的基类),使用指定 Executor 的任务拆分,或选用能够配置调度器的框架。
4. 阻塞与补偿边界
工作线程等待时,可用于计算的线程就会减少。ForkJoinPool 在工作线程调用 join() 等受支持的等待时,能够进行一定的补偿,也就是尝试维持可用的计算能力。但对任意 socket(网络套接字)、数据库、文件 I/O 或外部锁等待,池并不一定知道工作线程已被占用,不能假设它会自动补足线程。
ForkJoinPool.ManagedBlocker 是用于描述可管理阻塞的接口,可让自定义底层组件向池报告可能的阻塞,以便池考虑补偿。它不能让放入 commonPool 的任意阻塞 I/O 自动变得合适。业务应用通常更应该把阻塞 I/O 交给容量明确的执行器,或在 JDK 21+ 评估虚拟线程。
补偿线程也不是无限资源。阻塞任务持续增长时,线程、栈、连接和下游容量仍可能耗尽。ManagedBlocker 帮助池识别阻塞,不提供 Deadline(整个操作的截止时间)、业务资源隔离或背压(处理能力不足时限制新任务进入)。这些仍需单独设计。
4.1 嵌套并行
嵌套并行是指外层任务已经并行执行,内层又启动并行任务。并行流内部再启动并行流,或 ForkJoinTask 同步等待另一个共享池中的任务,会增加拆分、排队和调度复杂度。如果多层任务争用相同执行资源,任务数量增加也不代表 CPU 容量增加。它不一定死锁,但可能造成并行度争抢、任务粒度过细,让少数慢请求的耗时进一步拉长,即尾延迟放大。
应优先在最外层选择一次并行维度,内层使用顺序处理;确需嵌套时,组合不同目标数据规模和内外层并行度进行验证,不能按“并行层数更多”推断更快。
5. 副作用与线程安全
副作用是指处理元素时,还修改了处理函数之外的状态。多个并行任务修改同一个可变对象时,需要检查是否存在并发写入。
java
List<Result> results = new ArrayList<>();
items.parallelStream().forEach(item -> results.add(process(item)));这是错误示例:多个任务同时调用同一个 ArrayList 的 add(),而它不支持这种并发写入,可能导致结果丢失或内部状态异常。优先通过 map 表达转换,再用 Collector(收集器,负责累积和合并结果)收集:
java
List<Result> results = items.parallelStream()
.map(this::process)
.collect(Collectors.toList());这里把结果累积交给收集过程,避免在 Lambda 中直接写同一个外部列表;process 本身仍需避免不安全地修改共享状态。即使换成线程安全容器,也不代表并行一定更快:保护共享写入所需的协调仍可能成为瓶颈。
6. 测试并行收益
比较顺序与并行时,要保证业务结果一致,并固定影响性能的条件;吞吐和延迟等指标则用于测量对比,不能预先当作固定结果:
- 数据集规模、分布与数据源类型;
- commonPool 或自定义池的并行度;
- JVM 可见的 CPU 核数和容器 CPU quota(CPU 时间配额);
- 每个元素的计算成本与合并成本。
至少记录吞吐(单位时间完成的工作量)、P99(99% 请求耗时不超过的值)、CPU 时间和内存分配量。单次批处理变快,不代表在线服务整体受益;共享池中的其他请求也可能变慢,因此还需在实际并发负载下观察。
微基准方法见 A - Java 并发代码测试方法。容器中如果线程并行突发导致 throttling(因用完 CPU 配额而受到节流),转到 云原生 10 - CPU Limit 与 Throttling。本文未提供性能实测记录,不能据此推断特定业务的加速比例。
7. 容易踩的坑
- 在请求链中随手使用
parallelStream()。 - 把阻塞 I/O 放入 commonPool。
- 不做基准测试,只根据 CPU 核数猜性能。
- 在并行 Lambda 中修改共享容器。
- 依赖把 parallelStream 包进自定义池这一实现行为作为严格隔离契约。
- 嵌套并行导致任务数量膨胀和共享池争用。
8. 总结
Fork/Join 的优势来自可拆分的 CPU 计算,不是把任何循环换成 parallel 关键字。
- 并行收益必须高于拆分、调度和合并成本。
- 服务端要警惕 commonPool 的跨模块干扰。
- 并行流中避免共享可变副作用。
阅读导航
- 阻塞型并发模型:13 - JDK 21 虚拟线程实战
- 子任务生命周期:18 - 结构化并发与任务生命周期
- CPU 异常排查:14 - Java 进程 CPU 飙高排查