外观
25 - Spring MVC 异步请求与流式响应:线程释放不等于任务可控
适用版本:Spring MVC 6.x、Servlet 6.x、Spring Boot 3.x。本文不讨论 WebFlux。
前置阅读:14 - DispatcherServlet 调度全流程、15 - Controller 参数解析与数据绑定和16 - 返回值、JSON 与统一异常处理。
摘要
一个接口需要等待下游返回,或者持续向客户端发送数据时,Spring MVC 可以让最初处理请求的容器线程先退出。但请求仍未结束:后台任务可能继续运行,连接也可能继续保持。本文先解释这种线程与请求生命周期分离的模型,再说明返回类型、超时、上下文传播和流式交付的边界,帮助判断异步处理把资源压力转移到了哪里。
1. 同步与异步请求的区别
Servlet 容器负责接收 HTTP 请求,并安排线程调用应用。同步 MVC 请求通常由这个容器线程完成 Controller 调用和响应写出。ReturnValueHandler 是返回值处理器,负责把 Controller 返回的对象交给相应的响应处理逻辑:
text
Servlet thread → Controller → ReturnValueHandler → response如果 Controller 正在等待一个阻塞式下游调用,这个线程即使没有执行计算,也仍被请求占用。Servlet 异步处理允许应用在结果尚未就绪时退出原始调用,让容器线程去处理其他请求,同时保留当前请求与响应的生命周期。
以 Callable 或 DeferredResult 返回单个结果为例,流程可以概括为:
text
Servlet thread
→ startAsync
→ worker/event completes result
→ async dispatch
→ response processingstartAsync 表示进入 Servlet 异步模式;async dispatch(异步分派)表示容器再次把这个请求交给处理链,继续处理已经就绪的结果。这是同一次 HTTP 请求的后续阶段,不是客户端重新发起请求,也不要求由原线程继续执行。流式响应则会在异步生命周期内多次写出数据,不能把每次写出都理解为一次新的分派。
理解异步请求时,应分别观察三个状态:原始容器线程是否退出、后台任务是否结束、响应是否完成。它们不必同时发生。释放原始线程只减少该线程的占用,后台任务仍可能消耗工作线程、数据库或 HTTP 连接、内存,以及下游服务的处理容量。
2. 常见返回形态
选择返回类型时,先问两个问题:结果由谁产生,是一次返回完整结果,还是持续写出数据?
| 形态 | 结果如何产生 | 主要用途 | 关键风险 |
|---|---|---|---|
Callable<T> | MVC 将任务交给异步执行器,任务返回 T | 在线程池执行阻塞任务 | 执行器排队、超时后任务仍运行 |
DeferredResult<T> | 应用在外部事件或回调中设置结果 | 等待外部事件 | 忘记完成、多个完成路径竞争、资源滞留 |
WebAsyncTask<T> | 包装 Callable,配置超时、执行器和回调 | 对单个任务定制异步处理 | 超时与底层取消不一致 |
SseEmitter | 应用持续发送 SSE 事件 | 服务端事件流 | 慢客户端、断连、心跳和连接数 |
StreamingResponseBody | 应用在异步任务中向输出流写数据 | 流式下载 | 写阻塞、响应已提交、无法改写错误体 |
执行器(Executor)是接收并调度任务的组件,通常通过线程池执行任务。DeferredResult 本身不负责执行产生结果的业务任务,应用需要管理事件来源及其资源。所谓“完成路径竞争”,例如正常结果和超时处理同时尝试完成请求;业务代码需要处理只有其中一个路径生效的情况,并清理不再需要的任务或监听器。
这些 API 仍属于 Servlet MVC。Reactor 是响应式编程库,WebFlux 使用响应式处理模型;选用上表的返回类型,并不会自动把阻塞式数据库、HTTP 调用或响应写入变成非阻塞操作。
3. 超时不等于取消
MVC 异步超时限制的是请求等待结果的时间。超时后,框架可以进入超时处理并尝试完成响应,但这与“业务任务停止”是两个不同动作:
text
请求超时
→ MVC 尝试完成响应
→ Future/任务可能收到取消信号
→ 阻塞 I/O 未必立即停止
→ 下游操作可能继续并最终成功Future 表示一个尚未完成的任务结果。取消信号或线程中断是一种停止请求,能否及时停止取决于任务代码、执行器和底层 I/O 是否支持并响应它。对于外部事件驱动的任务,还需要应用主动取消事件订阅或相关操作,不能只完成 DeferredResult 就认为资源已经释放。
因此,需要为数据库、HTTP 和消息调用设置各自支持的超时或 Deadline。Deadline 指操作必须结束的截止时刻;串联调用时,后续步骤应按剩余时间安排等待,避免每一步都重新获得完整等待时间。任务也应响应中断或取消,并在退出路径释放资源。
网关超时又是另一个边界:网关停止等待,不代表应用已经停止处理。即使客户端最终收到超时错误,下游写入仍可能成功。涉及写操作时,应同时观察任务结果和业务状态,并考虑重试的幂等性,即重复请求不会产生额外业务副作用。
4. 上下文不会自动完整传播
ThreadLocal 把数据绑定到当前线程,而不是绑定到 HTTP 请求。异步任务换到另一个线程后,不能假定它仍能读取原线程上的全部数据。MDC 是日志诊断上下文,常用于关联请求日志;SecurityContext 保存认证等安全信息。它们与租户信息都需要明确传播方式,不能仅凭某个字段能够读取,就认为所有上下文都已传播。
应按数据用途分别处理:
- 业务参数:例如用户 ID、租户 ID,尽量通过任务参数显式传递。
- 观测与安全上下文:按所用组件的机制捕获、恢复,并在任务结束时清理,避免线程复用时串入下一项任务。
- 事务边界:若异步任务需要事务,应在新线程中通过适当的事务调用建立边界,不应复制原线程绑定的事务连接。
- 请求与连接对象:不要当成普通数据跨线程随意共享;访问必须遵循各自的生命周期和并发约束。
例如,Controller 调用事务 Service 后再异步写出响应,数据库事务可能早已提交。此后客户端下载失败不会自动撤销数据库提交,因此“事务完成”和“响应成功”需要分别记录。
相关原则见并发 21 - 并发上下文传播与 ScopedValue。
5. SSE 与流式响应
普通 JSON 响应通常在结果就绪后写出完整内容;流式响应则分段写出,客户端可以在整个响应结束前接收数据。SSE(Server-Sent Events,服务端发送事件)是在持续的 HTTP 响应中发送事件的方式,适用于服务端向客户端持续推送通知。
流式响应的重要边界是响应提交(committed):状态码和响应头已经发送,后续就不能再可靠地改成另一种响应。写出数据会经过缓冲,并不意味着每一次写入都立即提交;缓冲区刷新或填满等情况可能触发提交。一旦部分数据已经发送给客户端,后续异常就不能像普通响应那样替换成统一 JSON 错误体。
此时应根据协议和连接状态选择结束方式:连接仍可写时,SSE 可以发送约定的错误事件;连接已经不可写时,只能结束处理并记录服务端状态。流式下载中途失败后,也不能在文件内容末尾随意追加 JSON,否则客户端收到的内容会被破坏。
流式写出还会遇到慢消费者,即接收速度低于服务端生成速度的客户端。写入可能阻塞;如果应用另外缓存待发送数据,积压又会消耗内存。背压指根据消费者的接收能力限制上游生产速度,SseEmitter 本身不会自动为业务事件生产提供完整的背压控制。
因此,SSE 需要同时设计连接、事件生产和故障恢复:
- 最大连接数与每租户配额,限制长期连接占用的资源;
- 心跳与空闲超时,在无业务事件时维持必要的连接活动;
- 断连后的任务取消与资源清理,停止已经没有接收方的工作;
- 慢消费者处理,明确缓冲上限,以及暂停、丢弃或关闭连接的条件;
- 实例重启后的重连和事件游标,明确客户端从哪个事件继续接收;
- 代理层缓冲和超时配置,避免应用已经写出、客户端却迟迟收不到。
客户端断连不一定立即被应用感知,应通过写入错误或生命周期回调等路径处理,并让清理逻辑可以重复执行而不产生额外副作用。心跳可以增加发现连接异常的机会,但不能保证及时发现所有断连。
单个进程内的 SseEmitter 不提供可靠消息存储。事件游标是标识客户端接收进度的位置,事件 ID 可用于表达这个位置;但仅有 ID 并不能重放已经丢失的事件。需要断线重放时,还应配套持久化日志或专用消息系统,明确历史事件的保存范围和恢复方式。
6. 执行器必须显式配置
异步 MVC 任务不应依赖未评估的默认执行器。把阻塞任务从容器线程移到工作线程后,工作线程仍会被占用;如果任务到达速度持续超过处理速度,等待队列就会增长,请求可能还没开始执行就已经超时。
应明确配置 MVC 使用的异步执行器;如果 DeferredResult 或 SSE 的生产任务由应用自行调度,还要分别检查这些任务使用的执行器,不能认为 MVC 的配置会覆盖所有后台工作。至少明确:
- 核心与最大并发,限制同时执行的任务数;
- 队列容量,限制等待任务的积压;
- 拒绝策略,规定容量耗尽时如何反馈失败;
- 请求超时和下游超时,使排队、执行和等待有明确边界;
- 上下文传播和清理方式;
- 关闭等待时间,规定已有任务可以继续执行多久;
active、queue、rejection等指标,分别观察执行中任务、排队任务和拒绝情况,具体名称以所用监控组件为准。
提高线程数不能单独解决容量问题。如果数据库连接池或下游服务已达到处理上限,更多线程只会增加等待和资源竞争。应把执行器、连接池、流式连接数与下游容量一起评估。
容量设计见并发 09 - ThreadPoolExecutor 参数与容量设计,堆积排障见并发 15 - 线程池任务堆积与接口超时。
7. 最小验证矩阵
下面是测试设计及应验证结果。测试需要明确所用 Spring、Servlet 容器及代理版本,配置执行器和各层超时,并记录任务开始、完成、取消与响应完成的时间。测试 SSE 或下载时,还需要实际读取响应的客户端。
| 场景 | 应验证结果 |
|---|---|
| 正常异步完成 | 原 Servlet 线程释放,单结果请求的结果经异步分派写出 |
| MVC 超时 | 客户端得到预期状态,后台任务状态可观察 |
| 任务拒绝 | 不静默丢失,返回受控错误并记录指标 |
| 客户端断连 | 断连被感知后,写入停止,关联任务和资源得到清理 |
| 事务 Service 后异步写出 | 数据库提交与响应失败分别可见 |
| 应用关闭 | 新请求停止,已有任务在宽限期内完成或取消 |
仅断言 HTTP 状态码,无法证明后台任务已经停止;仅断言发送方法返回,也无法证明客户端已收到数据。应把客户端结果与服务端任务、资源状态对照起来检查。
MockMvc 是不启动真实网络服务器的 MVC 测试工具,适合检查处理链及异步结果处理。真实连接断开和代理缓冲无法只靠 MockMvc 证明,应使用随机端口启动真实服务器,或在受控环境中验证;涉及代理行为时还需要让请求经过相应代理。
8. 排障清单
排障时先确认请求经过哪些阶段,再沿线程、超时与响应状态定位资源滞留:
- 当前是同步请求、Servlet 异步还是 WebFlux?
- 原始 Servlet 线程何时退出,任务在哪个 Executor 执行,是否仍在排队?
- MVC 超时、网关超时和下游 Deadline 分别是多少,哪一层先结束等待?
- 超时或断连后任务是否仍运行,取消与清理路径是否触发?
- 响应是否已经 committed,已经写出多少数据,代理是否仍在缓冲?
- 上下文是否正确恢复和清理,事务或连接是否错误跨越线程?
- 执行器、连接池或流式连接数是否形成新的容量瓶颈?
9. 总结
Spring MVC 异步请求改变的是线程占用方式,不会自动提供取消、背压、事务传播或可靠流式交付。
设计时应分别约束请求等待、后台执行和响应写出:超时要配套任务取消与下游限制;流式响应要在提交前后采用不同的错误处理方式;容量验证要覆盖执行器、下游及长期连接。只有这些边界都明确,释放容器线程才可能转化为可控的异步处理能力。