外观
24 - Flow 与 Reactive Streams 背压
适用 JDK:
java.util.concurrent.Flow自 JDK 9 提供。本文讲协议和工程边界,不把某个响应式框架的具体操作符行为视为 JDK 契约。
摘要
生产者持续发送数据,而消费者处理较慢时,未处理数据就会积压。有界队列可以通过队满后的等待、超时或拒绝反馈压力;跨越多个异步阶段时,还需要让消费者主动声明“我还能接收多少”。把下游压力传回上游、约束上游发送的机制称为背压。
Reactive Streams 是用订阅和需求量协调异步数据流的协议,JDK Flow 提供对应的接口模型。核心关系是:消费者先请求元素,发布者在请求额度内发送,消费者再按处理进度补充额度。这个协议控制信号投递,不会自动限制业务并行度、网络缓冲或已经发生的外部副作用。
1. 四个角色
先看一次订阅中的分工。JDK Flow 定义四个角色:
Publisher(发布者):向订阅者发布元素;Subscriber(订阅者):通过回调接收元素、错误和完成通知,这些回调统称为信号;Subscription(订阅关系):承载订阅者的request(请求元素)与cancel(取消订阅)操作;Processor(处理阶段):同时是订阅者和发布者,接收上游数据,再向下游发布。
订阅建立后,Subscriber 在 onSubscribe 中取得 Subscription,用它提出需求。Publisher 通过 onNext 交付元素,订阅者再决定何时请求下一批。
下面是 JDK 9+ 的订阅者片段,需导入 java.util.concurrent.Flow;process、reportProcessingFailure 和 log 由业务代码提供,片段不能直接独立运行:
java
final class BatchSubscriber<T> implements Flow.Subscriber<T> {
private Flow.Subscription subscription;
public void onSubscribe(Flow.Subscription s) {
if (subscription != null) {
s.cancel();
return;
}
subscription = s;
s.request(32);
}
public void onNext(T item) {
try {
process(item);
subscription.request(1);
} catch (RuntimeException failure) {
subscription.cancel();
reportProcessingFailure(failure);
}
}
public void onError(Throwable error) {
log.error("stream failed", error);
}
public void onComplete() {
log.info("stream completed");
}
}示例先请求 32 个元素,每收到一个元素就消耗一个需求额度;process 正常返回后,再用 request(1) 补回一个额度。这是在维持接收窗口,不是在等待每批 32 个元素全部完成后才请求下一批。
关键在于 process 返回代表什么。如果它同步完成处理,补充需求的时机跟随处理进度;如果它只是把工作异步投递出去就返回,额度会很快补回,实际尚未完成的业务任务仍可能积压。
Subscriber 不应把自己的处理失败伪装成 Publisher 发出的 onError。示例捕获 RuntimeException 后取消订阅,并通过独立错误通道报告。已经发生的处理结果仍要另行管理:幂等是让重复执行不产生重复效果,补偿是用后续业务操作修复已发生的效果。
2. request(n) 是协议信用
“信用”可以理解为允许发送的额度。对某个订阅,Publisher 发送的 onNext 总数不能超过该订阅累计请求的元素数。request(n) 是追加额度,而不是把剩余额度改为 n。例如请求 32 个、收到 10 个后,还剩 22 个额度;再请求 5 个,剩余额度就变成 27 个。这是协议计数示意,不是测量记录。
因此,暂停补充需求不等于立即停止发送:已有额度仍可被消耗。想等待处理能力恢复,可以停止追加需求,恢复时再请求;想结束订阅,则调用 cancel(),表示不再需要后续信号。
请求非正数属于协议错误,不能用 request(0) 表示暂停。需求计数实现还要处理并发请求和数值饱和,即累计值达到计数上限时不能因溢出变成错误的负数。业务不应自行用普通 long 拼出未经并发与溢出验证的需求计数器。
3. 信号顺序与失败终止
正常订阅先收到一次 onSubscribe,之后可以收到若干 onNext;流失败时以 onError 终止,正常结束时以 onComplete 终止。两个终止信号不会同时作为同一订阅的结束结果。取消则是订阅者主动退出,不能把取消当作必定会收到 onComplete 的正常结束路径。
对同一订阅,信号应按协议串行化,也就是回调之间有先后关系,不并发交付;这不等于所有回调固定在同一个线程执行。Subscriber 自己派生出的异步任务也不受这项串行保证约束,仍需单独设置并发上限并跟踪完成状态。
回调不应阻塞过久,因为执行回调的线程可能还承担发布或其他任务。也要避免在回调中递归触发无界同步发布,以免调用不断嵌套。选择执行方式时,应先确认回调实际运行在哪个线程或执行器上。
终止信号不会回滚数据库事务,也不会撤销已经发送的请求或已经落库的元素。协议层结束与业务副作用处理是两个问题,幂等、补偿和错误处理范围仍需由业务定义。
4. SubmissionPublisher 的边界
SubmissionPublisher 是 JDK 提供的异步发布器,可用于学习协议或进程内组件,但不是可靠消息队列。
- 默认执行器和缓冲配置未必适合阻塞业务;
- 慢订阅者会形成各自的积压;
submit在资源不足时可能阻塞,offer可配合超时和丢弃处理;- 进程崩溃后缓冲内容不会恢复;
- 关闭发布器不等于撤销已发生的外部副作用。
生产环境应显式指定 Executor(负责调度回调任务的执行器)、缓冲容量、慢订阅者策略和错误观测。缓冲只是暂存来不及交付的元素:消费者长期跟不上时,有限缓冲最终仍会触发等待或丢弃策略。
estimateMaximumLag()、estimateMinimumDemand() 只能作为监控估计值,不能用于需要原子正确性的容量判断。不同订阅者的消费进度不同,某个慢订阅者也可能单独决定发布端是否阻塞或丢弃。
5. 背压不等于并发限制
一条流的需求量、处理并行度和下游连接数是三个维度。预取是提前请求一批元素,减少逐个请求带来的交接等待;它不代表已经为这些元素预留了业务资源。例如预取 256 个元素后,再以 256 个并发任务访问数据库,若连接池无法承受这些任务同时申请连接,仍可能耗尽连接池。这里的数字是场景示意,不是实测容量。
需要分别限制:
- 上游允许继续投递的元素额度,以及实现内部的缓冲容量;
- 当前正在执行的异步任务数;
- 数据库、HTTP 或文件句柄等稀缺资源;
- 单元素和整条请求链的 Deadline(截止时间),避免任务无限等待。
持续过载的时间线和治理方法见 15 - 线程池任务堆积与接口超时。
6. 与 BlockingQueue 对比
| 维度 | BlockingQueue | Flow / Reactive Streams |
|---|---|---|
| 压力信号 | 队满后等待、超时或失败 | 消费者提前声明需求量 |
| 等待方式 | 常见为线程阻塞 | 异步信号协议 |
| 作用范围 | 进程内交接点 | 可组合多个异步阶段 |
| 关闭 | 业务自定义协议 | cancel、onComplete、onError |
| 可靠性 | 默认不持久化 | 协议本身同样不提供持久化 |
两者可以配合使用:响应式实现内部仍可能用队列暂存元素。采用需求协议后,仍要观察队列容量、预取量和溢出策略,确认压力没有转移到一个缺少限制的缓冲区。
7. 验证与排障
- 记录每个订阅的请求量、已发送量、取消和终止原因;
- 注入慢 Subscriber,验证缓冲不会无限增长;
- 检查回调在哪个 Executor 执行以及是否包含阻塞调用;
- 区分协议层积压、异步任务积压和下游连接池等待;
- 测试取消与失败的竞态,即两者交错发生时的行为;区分取消传播期间可能仍到达的信号与终止信号之后的违规发送;
- 测试
onNext自身抛错、重复订阅和非正数request等协议违规路径; - 若
onNext派生异步工作,同时记录协议需求、实际在途任务(已启动但尚未完成的任务)和任务完成数。
以上是验证建议,本文未运行这些测试。排障时先确定积压发生在哪一层,再调整对应的需求、缓冲或资源上限;只减小 request(n),未必能解决已经转移到异步任务队列中的积压。
8. 总结
Reactive Streams 用需求量表达异步背压,但容量保护仍必须贯穿执行器、缓冲和下游资源。
request(n)是允许发送的信用,不是业务并发度。- 取消和错误终止不能撤销已经发生的副作用。
- 预取、缓冲、Executor 与下游容量必须一起验证。