外观
09 - ThreadPoolExecutor 参数与容量设计
适用 JDK:JDK 8+。文中线程数估算式只是起点,最终值必须在目标环境压测验证。
摘要
为什么线程数从 50 调到 200,接口可能反而更慢?为什么队列改大后拒绝少了,请求却可能等到超时?增加线程和队列都不会自动增加 CPU 或下游的处理能力。容量设计要回答三个问题:允许多少任务同时执行、允许多少任务等待、超出容量后如何处理。
本文先解释任务提交流程和构造参数,再讨论线程数、队列、拒绝及关闭。文中的数字是教学示例,不是实测结果或通用推荐值。Java 代码均为局部片段;使用时需补充 java.util.concurrent、java.util.List 等导入,并定义线程编号 THREAD_ID、日志对象 log、任务 task 和指标记录器。
1. 任务提交流程
线程池把提交任务与执行任务分开:调用方提交 Runnable,工作线程执行其中的业务逻辑,并在执行后继续处理其他任务。没有立即交给工作线程的任务可以留在工作队列中等待。因此,线程数控制执行并发,队列容量控制等待存量,两者需要一起设计。
corePoolSize 是核心线程数阈值,maximumPoolSize 是池内工作线程数上限。核心线程默认按需创建,并不是构造线程池时就全部启动。下面展示线程池正常接收任务时的主要路径;关闭期间的拒绝见第 6 节,图中省略了并发状态复查等实现细节。
图表将在阅读到此处时加载…
当队列是无界队列时,任务几乎总能入队,maximumPoolSize 就很难发挥作用。
这个顺序意味着:对有界队列,工作线程数达到 corePoolSize 后,新任务优先入队;队列无法接收时,才尝试继续创建线程,直到 maximumPoolSize。判断的是工作线程数量,不是所有核心线程是否都忙。因此,最大线程数很大也不代表突发时会立即创建这些线程。
SynchronousQueue 不存储任务,只用于直接交接。在线程池提交路径中,如果没有等待接收任务的工作线程,交接失败后就会尝试创建线程或执行拒绝策略,而不是一直等待交接。它减少了队列缓冲,也更容易触发扩容或拒绝,应配合明确的最大线程数上限使用。
2. 显式构建线程池
java
ThreadPoolExecutor executor = new ThreadPoolExecutor(
8,
16,
60,
TimeUnit.SECONDS,
new ArrayBlockingQueue<>(500),
runnable -> {
Thread thread = new Thread(runnable);
thread.setName("order-worker-" + THREAD_ID.incrementAndGet());
thread.setUncaughtExceptionHandler((t, e) -> log.error("worker failed", e));
return thread;
},
new ThreadPoolExecutor.AbortPolicy()
);构造参数按顺序决定以下行为:
| 参数 | 本例取值 | 含义 |
|---|---|---|
corePoolSize | 8 | 工作线程数低于此阈值时,提交任务优先创建线程 |
maximumPoolSize | 16 | 工作队列无法接收任务时,池内工作线程最多扩展到此数量 |
keepAliveTime、unit | 60、SECONDS | 默认情况下,超出核心数量的空闲线程等待新任务的最长时间 |
workQueue | ArrayBlockingQueue<>(500) | 最多保存 500 个待执行任务,不包括正在执行的任务 |
threadFactory | 创建并命名线程的 lambda | 统一设置线程名称和未捕获异常处理器 |
handler | AbortPolicy | 拒绝任务时抛出异常,让调用方处理失败 |
这里的线程上限只限制池内工作线程;第 6 节的 CallerRunsPolicy 还可能让提交线程参与执行。生产配置除这些参数外,还要明确异常观测和关闭流程。
对首次请求延迟敏感时,可在依赖就绪后调用 prestartCoreThread() 或 prestartAllCoreThreads(),提前启动核心线程,但预热线程不能替代类加载、连接建立和业务缓存预热。
allowCoreThreadTimeOut(true) 让核心线程也受空闲超时约束,可以降低长期空闲池的资源占用;代价是下一次突发可能需要重新创建线程。启用前必须设置大于零的 keepAliveTime,并验证重新创建线程对首次请求延迟的影响。
3. 为什么不建议盲用 Executors
newFixedThreadPool()使用容量近似无界的LinkedBlockingQueue,负载持续超过处理能力时会堆积任务。newSingleThreadExecutor()也有类似队列堆积风险。newCachedThreadPool()的最大线程数非常大,慢任务可能导致线程数膨胀。
问题不是 API “一定不能用”,而是默认容量策略往往不符合服务端的有界资源需求。
4. 线程数怎么估算
CPU 密集型任务的大部分时间用于计算,可从 CPU 核数附近开始测试。计算资源已经用满时,继续增加线程可能只会增加上下文切换,即 CPU 在不同线程之间保存、恢复执行状态的开销。
I/O 密集型任务的大部分时间用于等待网络、磁盘或数据库。一个线程等待时,其他线程有机会使用 CPU,因此可以从下面的常见估算式开始测试:
text
线程数 ≈ CPU 核数 × (1 + 平均等待时间 / 平均计算时间)这里的等待时间和计算时间都按同一类任务的平均耗时统计。等待占比越高,估算出的线程数越大;这个推导的前提是增加并发后,任务耗时仍相对稳定。
该公式没有直接纳入内存、下游连接池、数据库容量、上下文切换和延迟 SLA(服务等级协议中的延迟要求),只能给出起始值。容器环境还应考虑 CPU 配额,即应用实际获准使用的计算资源,不能直接把宿主机核数当作可用容量。
4.1 容量上限由最窄的下游决定
例如,线程池最多同时运行 100 个数据库任务,连接池却只有 30 个连接。若这些任务都需要占用一个连接才能继续执行,多出的任务仍要等待连接,或在获取连接超时后失败。增加线程只是把等待从线程池队列转移到了连接池,并没有增加数据库处理能力。
线程池、连接池、下游并发限制和 CPU 配额要一起评估:任务可能先等线程、再等连接、最后等数据库执行,这些相互连接的等待环节构成了排队网络。容量上限需要看整条链路的瓶颈,而不是只看线程池参数。
连接容量见 网络 18 - 连接池与系统资源;数据库等待见 数据库 23 - 数据库连接耗尽。
5. 队列不是免费缓冲区
队列可以吸收短时突发:提交暂时变快时,任务先等待,之后由工作线程逐步处理。但如果提交速度持续高于完成速度,积压就会继续增长;扩大队列只是推迟拒绝,不会解决处理能力不足。
积压任务增多会带来以下成本:
- 任务占用内存;
- 排队等待时间;
- 任务开始执行前,请求的超时预算或业务上下文已经失效的风险;
- 发布或关闭时仍需处理的任务存量。
队列容量应同时受内存预算和允许等待时间约束,最终通过目标负载压测确定。下面分别记录从提交到开始执行的等待,以及开始到结束的执行耗时。只看两者之和,无法区分是等待变长,还是任务本身变慢;执行耗时也包括任务内部等待连接或下游的时间。
java
long submittedAt = System.nanoTime();
executor.execute(() -> {
long startedAt = System.nanoTime();
queueDelay.record(startedAt - submittedAt);
try {
task.run();
} finally {
runTime.record(System.nanoTime() - startedAt);
}
});System.nanoTime() 的时间差单位是纳秒,指标记录器需按这个单位处理。这类包装只会为实际开始执行的任务记录耗时,还需单独统计提交拒绝和执行前取消等路径。使用 CallerRunsPolicy 时,提交到开始的时间也不一定是在线程池队列中的等待。
不要把用户 ID、Trace ID(请求链路标识)作为指标标签:这类值的不同取值很多,称为高基数,会产生大量指标序列,增加监控系统的存储和查询成本。
6. 拒绝策略
拒绝策略决定线程池无法接收任务时如何处理提交。背压是让提交方在处理能力不足时减速;降级是改用较低成本的备用行为,例如返回缓存或明确的暂不可用结果。它们都需要调用链配合,不是换一个策略名称就能完成。
| 策略 | 行为 | 适用考虑 |
|---|---|---|
AbortPolicy | 抛 RejectedExecutionException | 失败明确,便于告警与降级 |
CallerRunsPolicy | 池未关闭时由提交线程执行;已关闭时丢弃 | 可形成背压,但会拖慢调用线程 |
DiscardPolicy | 静默丢弃 | 通常不适合不可丢业务 |
DiscardOldestPolicy | 池未关闭时丢弃队头再重试;已关闭时丢弃新任务 | 可能丢掉最接近执行的任务 |
拒绝必须可观测。自定义策略至少应记录计数、队列长度和线程池状态,避免日志风暴。
拒绝可能发生在应用关闭与任务提交并发时,即使队列尚未满。调用方不能把所有 RejectedExecutionException 都解释成“容量过载”,应同时记录 isShutdown()、池状态和提交来源。
DiscardOldestPolicy 删除的是工作队列头部任务;如果队列具有优先级或特殊排序,“oldest”未必等于最早提交。Deadline 是任务必须完成的截止时刻。对于携带 Deadline 的任务,通常应显式识别并移除已过期任务,而不是让通用丢弃策略替业务判断任务是否仍有价值。
7. 业务隔离
发邮件、查数据库和调用慢下游共用一个线程池时,慢任务可能长期占住工作线程,让原本很快的任务也只能排队。资源隔离是为不同任务组分配各自的线程和队列预算,避免一类任务耗尽其他任务的执行资源。
可根据下游、延迟要求和失败方式划分线程池,但要约束所有池的总线程数,避免为每个方法建池。分池也不会增加共享数据库或 CPU 的容量,仍需检查这些公共瓶颈。
8. 优雅关闭
优雅关闭的目标是停止接收新任务,并给已接收的任务有限时间完成。下面先调用 shutdown(),保留已提交任务的执行机会;等待 30 秒后仍未结束,再尝试停止正在执行的任务,并取出尚未开始的任务。
java
executor.shutdown();
if (!executor.awaitTermination(30, TimeUnit.SECONDS)) {
List<Runnable> dropped = executor.shutdownNow();
if (!executor.awaitTermination(10, TimeUnit.SECONDS)) {
log.error("executor did not terminate");
}
}shutdownNow() 会尝试中断正在执行的任务,不能保证任务立即停止。任务代码必须正确响应中断;第二次等待 10 秒后仍未结束时,示例只记录日志。
这段代码不是完整的关闭协议:awaitTermination() 可能抛出 InterruptedException,调用方需传播异常或按关闭协议处理并恢复中断状态。返回的 dropped 是尚未开始执行的任务,业务还要决定如何记录、补偿或重新投递。对可能重试的任务,要设计幂等语义,即重复处理不会产生重复扣款等额外副作用。
9. execute()、submit() 与异常可观测性
两种提交方式对任务异常的处理不同。Future 是观察任务完成状态、获取结果或请求取消的句柄;未捕获异常处理器则用于处理从线程执行路径中逃出的异常。
execute()执行的Runnable如果抛出未捕获异常,通常会到达工作线程的UncaughtExceptionHandler。submit()会把异常保存在Future中;如果从不调用get()或不在统一钩子中观测,失败可能被静默忽略。
afterExecute() 是线程池在任务执行后调用的扩展钩子。可以通过它或统一任务包装器记录失败,但 submit() 生成的 FutureTask 会捕获原始异常,使外层执行看起来正常结束,因此 afterExecute() 的 Throwable 参数可能仍为 null。只检查这个参数会漏掉失败。
在 afterExecute() 中调用 Future 的 get() 读取异常时,必须先确认任务已完成,并分别处理取消与中断;不要让观测钩子再次长期阻塞工作线程。钩子自身抛异常也可能导致工作线程退出,因此监控代码必须隔离失败。
10. 运行时观测清单
监控要能串起“提交、等待、执行、结束”的过程,而不只显示线程数:
- 当前池大小、活跃线程、最大池大小;
- 队列长度、剩余容量、最旧任务年龄;
- 排队时间和执行时间的 P50/P95/P99;
- 提交、完成、失败、取消和拒绝计数;
- 任务类型、调用下游及对应容量。
P50/P95/P99 是耗时的百分位数,例如 P99 表示约 99% 的观测值不超过该值,用来观察平均值容易掩盖的长尾等待。“最大池大小”应区分配置的 maximumPoolSize 与历史达到过的最大线程数;“最旧任务年龄”指队列中等待最久任务的等待时长,需要额外记录提交时间。
出现排队时转到 15 - 线程池任务堆积与接口超时;验证参数时按 A - Java 并发代码测试方法区分微基准与容量压测。
11. 容易踩的坑
- 只设置
maximumPoolSize,不考虑队列类型和提交流程。 - 将队列长度当作容量目标,而不是过载信号。
- 线程数超过数据库、HTTP 连接池或下游的实际并发上限。
- 使用
submit()后既不保留Future,也没有统一异常观测。 - 应用关闭时只调用
shutdownNow(),却没有设计任务的中断和幂等语义。 - 在
afterExecute()中执行慢日志、网络上报或阻塞等待,反过来降低线程池处理能力。
12. 总结
服务端线程池应设计成有容量边界的处理系统:线程决定执行并发,队列承担有限等待,拒绝与背压处理超出容量的提交。
- 使用有界队列和明确拒绝策略。
- 线程数公式只是起点,要结合下游容量压测。
- 监控活跃线程、队列、拒绝、排队时间和执行时间。
后续阅读:17 - FutureTask 与任务取消解释
submit()返回句柄的状态与取消语义;任务组合继续阅读 10 - CompletableFuture 异步编排。