外观
19 - BlockingQueue 与生产者—消费者模型
适用 JDK:JDK 8+。本文讨论
java.util.concurrent中稳定 API。
摘要
一个线程不断接收任务,另一个线程负责处理任务,两者速度不一致时,任务该放在哪里?生产者—消费者模型用队列连接这两段工作:生产者创建或提交任务,消费者取出并处理任务,队列暂存尚未被取出的任务。两端可以各有多个线程,不必一一对应。
BlockingQueue 是 Java 提供的阻塞队列接口。这里的“阻塞”指线程在条件不满足时等待,例如队列已满时等待空位,或队列为空时等待新任务;是否等待、等多久,由调用的方法决定,并非所有操作都会阻塞。
队列让生产和消费不必同时发生,但不会提高消费者的处理能力。生产速度偶尔超过消费速度时,队列可以吸收波动;长期超过时,积压持续增长,任何有限容量最终都会耗尽。因此,除了线程安全地交接元素,还要明确容量、等待、拒绝和关闭协议。
1. 先确定过载语义
先决定条件不满足时调用方该怎么办,再选择方法。过载指到达的任务超过当前处理能力;队满后是立即拒绝还是允许等待,是业务策略。队空时消费者是否等待,则决定它如何获得下一项工作。
BlockingQueue 为插入、移除和查看队头提供了几组方法。移除会取走元素,查看则不会:
| 操作 | 队满或队空时的行为 | 适用场景 |
|---|---|---|
add/remove/element | add 队满时抛异常;无参 remove/element 队空时抛异常 | 条件不满足应立即暴露 |
offer/poll/peek | offer 队满时返回 false;poll/peek 队空时返回 null | 调用方自行降级、拒绝或稍后再取 |
put/take | put 等待空位,take 等待元素;等待可被中断,没有指定超时 | 独立生产/消费线程之间协调 |
限时 offer/poll | 最多等待指定时间,仍无法插入或取出时返回 false/null;等待可被中断 | 有等待预算的业务任务 |
背压是把下游处理能力不足反馈给上游,让上游减速、等待或拒绝新任务。请求线程使用 put() 会让当前线程等待,却不一定形成合理背压:如果等待占住 Servlet 请求处理线程、EventLoop(事件循环线程)或消息消费线程,入口就可能没有资源继续处理其他工作。选择等待策略时,要同时判断“谁在等”和“等待占用了什么资源”。
2. 有界队列是容量边界
有界队列显式限制暂存元素的数量。下面是局部业务片段,假定已有任务类型 Job、待提交的 job、指标对象 metrics 和业务异常 OverloadedException;导入、外围方法及中断处理未展示,不是可直接运行的完整程序:
java
BlockingQueue<Job> queue = new ArrayBlockingQueue<>(1_000);
boolean accepted = queue.offer(job, 20, TimeUnit.MILLISECONDS);
if (!accepted) {
metrics.incrementRejected();
throw new OverloadedException("job queue is full");
}片段把容量设为 1_000,入队最多等待 20 毫秒;未能入队时记录拒绝并抛出业务异常。这两个数字只是示例参数,不是经过测量的容量建议。成功入队也只表示队列接收了任务,不表示任务已经处理完成;限时入队方法可能抛出 InterruptedException,外围代码还需安排中断处理。
容量应由允许的排队时间、到达率和任务对象内存共同约束。容量越大,可以暂存的任务越多,也可能让任务等待更久;它不能解决长期消费不足。任务若引用请求体或上下文,这些对象也可能随任务一起留在内存中,因此不能只按队列元素数量估算内存占用。
LinkedBlockingQueue 的无参构造容量是 Integer.MAX_VALUE,工程上应显式指定上限。SynchronousQueue 不保存元素,每次移交都要求生产者与消费者直接配对;它不是“容量为 1 的队列”。前者允许暂存任务,后者要求接收方参与交接,容量语义不同。
3. 队列实现如何选择
先看是否需要暂存任务,再看取出顺序和容量约束。下表中的公平模式关注等待线程获得访问机会的顺序;优先级关注任务的取出顺序,两者不是同一个概念。
| 实现 | 关键特征 | 主要风险 |
|---|---|---|
ArrayBlockingQueue | 固定数组、容量明确,可选公平锁 | 公平模式通常增加调度开销,需实测 |
LinkedBlockingQueue | 链式节点,可指定容量 | 忘记指定容量会掩盖持续过载 |
SynchronousQueue | 零容量直接移交 | 没有接收方时,提交按所选方法等待、超时或立即失败 |
PriorityBlockingQueue | 按优先级取出,逻辑无界 | 低优先级饥饿、内存持续增长 |
DelayQueue | 到期后才能取出,逻辑无界 | 不适合代替可靠定时任务存储 |
“逻辑无界”指没有用有限容量主动限制积压,仍受进程可用内存限制。持续积压可能最终导致 OOM(内存耗尽),这不是可控的业务拒绝方式。优先级队列还可能让低优先级任务长期得不到处理,这种现象称为饥饿;延迟队列解决的是何时允许取出任务,不能替代可靠任务存储。
4. 正确处理中断与关闭
消费者等待任务时,还需要有退出路径。下面是消费者循环的局部片段,假定 queue 已初始化、Job 为业务类型、handle 负责处理任务;导入、线程启动和业务处理异常策略未展示:
java
while (!Thread.currentThread().isInterrupted()) {
try {
Job job = queue.take();
handle(job);
} catch (InterruptedException e) {
Thread.currentThread().interrupt();
break;
}
}take() 在队空时等待,取得任务后才调用 handle。如果等待被中断,片段恢复当前线程的中断标记并退出循环;恢复标记是为了让外围逻辑仍能观察到中断。若中断发生在 handle 内部,能否及时退出还取决于业务处理是否响应中断,不能仅凭这个循环保证。
BlockingQueue 本身没有 close(),也不会自动通知消费者“以后没有任务了”。停止协议需要业务明确选择:中断消费者、使用哨兵对象,或先停止生产再等待队列排空。哨兵对象是放入队列的特殊元素,消费者识别到它后退出;必须防止它与合法数据混淆,并考虑多个消费者所需的哨兵数量。
关闭过程中还要决定剩余任务是继续取出并处理、持久化、转移还是丢弃。队列为空只说明没有待取元素,不能单凭这一点判断消费者手上的任务已完成。仅让消费者线程退出,也可能把队列中的任务静默遗留在内存中。
4.1 哨兵并不适合所有拓扑
这里的“拓扑”指生产者、消费者的数量及连接关系。如果生产者在哨兵之后继续提交正常任务,消费者可能已经退出,后续任务就无人处理;消费者数量动态变化时,哨兵数量也难以计算。使用哨兵前至少保证:
- 生产入口已经关闭,不再有新任务;
- 正常任务与哨兵的顺序可证明;
- 每个需要退出的消费者都能观察到停止信号;
- 队列已满时,投递哨兵不会永久阻塞关闭线程。
生命周期复杂时,可以评估独立的停止标记加中断,或执行器的 shutdown 协议,让停止控制与业务数据分开。它们仍需明确如何阻止新任务、唤醒等待线程以及处置剩余任务。
4.2 drainTo 不是事务边界
drainTo(batch, max) 将当前可取出的元素转移到目标集合 batch,最多转移 max 个,便于批量处理。它可以降低逐个获取的协调成本,但不能据此认为整批操作与生产者彼此隔离,也不会让后续数据库写入等外部操作成为一个事务。事务边界决定哪些操作一起成功或失败,队列转移不能代替外部系统的事务安排。
元素已离开队列后,处理到一半失败也不会自动放回。业务需要明确未处理元素是重新入队、持久化重试还是进入失败队列,并考虑已处理元素是否会因重试被再次执行。
不要将目标 Collection(集合)指向队列自身;如果目标集合在添加过程中抛异常,元素转移结果可能只完成一部分,必须按 API 契约处理,并设计业务幂等性。这里的幂等性指同一任务重复处理时,不会重复产生不应发生的业务效果。
5. 队列不会自动形成端到端背压
本地队列只能约束本进程的一段链路。若生产方在 offer() 失败后立即重试,就会继续竞争同一份不足的容量;若上游消息系统持续推送,压力也可能转移到网络缓冲或 Broker(消息代理服务)中。队满信号没有改变上游行为,整条链路的积压就没有因此消失。
端到端背压需要让容量信号沿链路影响生产速率,例如暂停拉取、降低并发、返回明确过载响应或让上游进入有抖动的退避。退避是失败后等待一段时间再重试,抖动是在等待时间中加入随机变化,避免多个调用方同时再次提交。线程池中的同类问题见 15 - 线程池任务堆积与接口超时。
6. 内存可见性不等于对象不可变
交接对象时,消费者不仅需要拿到对象引用,还需要看见生产者此前写入的内容,这就是这里讨论的内存可见性。线程在元素放入 BlockingQueue 之前完成的操作,对另一个线程随后访问或移除该元素具有队列契约提供的内存一致性效果。
这一保证针对入队前的操作,并不会把对象变成不可修改的对象。生产者在入队后继续无同步修改同一对象,仍会产生新的数据竞争,也就是多个线程缺少协调地访问同一数据,其中至少一个线程在修改它。
优先传递创建后不再修改的不可变消息,或在成功入队后把对象所有权交给消费者:生产者不再修改该对象,由消费者负责后续处理。该设计在 28 - 单写者模型与消息传递中进一步展开。
7. 验证与排障
以下是验证建议,不是本文已执行的实验记录。队列长度只是积压的一个维度,还应观察任务等了多久、处理能力是否下降,以及关闭能否完成:
- 记录队列长度、剩余容量、最旧元素年龄(入队后已等待多久)和限时
offer等待时间; - 分开统计生产速率、消费速率、拒绝数和处理失败数;
- 注入消费者暂停,验证队满后的真实行为;
- 注入中断和关闭,确认没有任务重复、静默丢失或线程无法退出;
- 通过堆 Dump(堆内存快照)检查积压元素及其引用对象的保留大小,而不只看元素数量;
- 覆盖批处理执行到一半失败、关闭时队列已满和多个消费者同时退出。
8. 总结
BlockingQueue 是带容量与等待语义的交接点,不是持续过载的修复器。
- 生产代码优先使用显式容量和可观测的拒绝策略。
- 等待必须受中断或 Deadline(截止时间)约束,并明确等待占用的资源。
- 队列关闭、排空和剩余任务处置需要单独设计。
本文仅完成文本改写和静态自查,未编译或运行示例,也未独立核验 JDK 文档或源码。具体 API 契约、实现特征和性能倾向仍需结合目标 JDK 与实际负载核对。
对比阅读:23 - ConcurrentLinkedQueue 与无锁队列不提供等待和硬容量;异步需求式背压见 24 - Flow 与 Reactive Streams 背压。