外观
31 - create_task越多接口越慢:有界后台队列、背压与优雅关闭
摘要
把慢操作放到后台后,接口暂时变快,内存和连接却继续增长。本文通过有界 asyncio.Queue 的可控实验,解释任务准入、失败确认、排空与取消边界,帮助你把后台执行设计成可以验收的资源协议。
标准库示例要求 Python >=3.13,已在 CPython 3.13.7执行。采用显式结束标记,不依赖 Queue.shutdown;3.14验证见报告。内存队列不持久化,跨进程领取、崩溃恢复与外部消息系统待验证。
1. 场景:后台只是换了等待的位置
教学日志接口收到请求后,直接 asyncio.create_task(send_report(...)),马上返回已接收。低流量时正常,高峰时后台工作比进入速度慢,Task数量持续增长。每个任务携带请求对象、大文本或数据库资源,响应虽快,进程却积累越来越多未完成工作。
Task(异步任务)表示事件循环调度的协程执行,并不自动限制并发,也不提供持久队列。创建任务让调用方不用在原位置等结果,但工作仍消耗同一进程的内存、连接和CPU。若入口不限制准入,后台积压只是把显式排队隐藏进任务集合。 可进一步阅读消息积压与消费扩容:持久消息积压与内存队列有不同恢复边界。
事件循环与取消解释任务如何调度,本篇关心如何限制数量并结束生命周期。backpressure(背压)指下游处理能力不足时,让上游等待或拒绝继续进入,避免无限积压。它需要明确容量和准入政策,不是给函数加 async 就产生。
追后台任务先画责任转移:入口还没准入,进入等待队列,被工作者领取,最后以成功或失败终结本次责任。每个边界都可能等待,也都需要容量。返回已接收只说明跨过哪一个边界,不能从202推导最终成功。
下面固定一个工作者和两槽队列,用控制事件gate让工作者暂不领取,用qsize观察还在等待的项数。先预测事件未开时第三项是否已经准入,再追一项取走后等待项数与未完成数为何不同。重要任务另有持久边界:先保存事务outbox意图,才谈崩溃后恢复;内存准入不具备这项保证。
2. 队列容量与消费者数量是两项预算
asyncio.Queue(maxsize=2) 限制等待队列里最多两项;它不包括已被 worker(工作者)取出正在执行的项目。若有四个工作者,总未完成量可以达到六项,另加尚在上游等待准入的请求。容量讨论必须说明统计边界,不能把 qsize 当成系统全部在途任务数量。
consumer(消费者)数量限制同时执行的工作;队列容量限制尚未执行的等待项。数据库池只有十个可用连接时,创建一千个消费者不会提供一千倍吞吐,只会把队列等待转移成池等待。外部API并发限制、CPU预算和每项内存也需要一起估算。
每项任务应只保存必要的稳定标识与小参数,避免把整份上传内容、Request、Session 或打开文件塞进队列。否则有限项数仍可能占用巨大内存,也可能继承已经结束的请求资源。任务开始后自己建立短会话,结束后关闭,生命周期边界才清楚。
队列容量不是“越大越保险”。下游吞吐固定时,容量越大允许等待越久。若任务有截止时间,队列里等了很久的任务开始时可能已过期,执行只浪费资源。入队前和开始前都应检查业务有效性,超过预算返回可理解的拒绝或过期状态,而非继续无条件运行。
稳定负载下可用 Little's Law(平均在途量约等于到达率乘平均停留时间)帮助理解规模关系,但它需要稳定系统和一致边界,不用于瞬间高峰的精确容量预测。本篇不编造吞吐数字,先用确定性实验验证准入确实被约束。
3. 不靠sleep猜测:证明第三项没有入队
示例创建一个工作者,先让它等待 gate 事件,生产者持续入队。队列达到两项后,再让调度器给生产者一次运行机会:生产者仍未完成,admitted 只有0和1。此时第三个 put 等待真实可用槽位,打印 queue=2 producer pending。
此时可明确回答第三项的位置:生产者已经执行到put(2),但还没有越过该await,所以admitted仍是[0,1];工作者等待gate,没有取走任何项,qsize仍是二。三项证据共同定位阻塞,而不是从程序耗时猜测背压。
gate打开后,每次get腾出一个等待槽,生产者才可能继续put。后续步次会交错,但“put完成才记admitted、get只转移给工作者、task_done才结束责任”的关系不变。主例用两秒整体预算保护控制循环,不把它称为处理性能阈值。
反例是在 put 外面再套 create_task:即使 Queue有界,上游瞬间建立大量等待入队的任务,保存大量参数,准入容量并没有真正传回调用方。正确策略是入口直接 await 有界 put,或用 put_nowait 明确拒绝;无界任务集合不是有界队列的替代品。
接口若不愿等待,应在满时返回明确的过载响应,或只接受已持久化的任务并记录排队状态。短等待与立即拒绝各有用户体验代价,必须结合重试约定。客户端自动重试也要保留原操作标识,避免每次拒绝后的重试产生新任务。
图表将在阅读到此处时加载…
图中的成功和失败都要确认出队项目,否则关闭时的 join 永远不能满足。业务成功、队列处理结束和持久投递确认则是不同状态。
4. get、task_done与join是一份计数协议
同一个队列有两本账:qsize记还没被领取的项目,未完成计数记本次处理责任。put增加两本账,get只减少第一本,task_done减少第二本,join只等待第二本归零。asyncio队列文档定义了这个计数协议。
只追一项就能预测差异:入队后qsize为一、未完成为一;工作者get后qsize为零、未完成仍为一;处理完调用task_done才归零。项目3抛ValueError也要结束这次计数责任,但记入failures而非completed。因此join返回与“六项全部业务成功”是不同命题,不能把清空等待队列当成成功排空。
每次成功 get 后恰好调用一次 task_done,通常放在 finally。示例项目3主动抛 ValueError,失败记录保存对应项目,finally依然确认;否则处理失败后队列看起来空了,join却永远等不到结束。调用两次 task_done 也会破坏计数并报错,不能用“多调用一次保险”来修。
确认只表示本次队列处理责任结束,不等于业务成功。失败记录需要可查询,重试需要明确策略;任务因取消而结束时也不能悄悄标成成功。持久系统往往需要失败状态或可重新领取记录,内存教学示例把失败保存到列表,未声称进程重启后仍保留。
捕获范围也要慎重。示例只将预期 ValueError作为单项失败,未把所有 BaseException吞掉。程序错误、资源失效或取消应传播到生命周期管理层,决定停止整个工作组还是单项隔离。把 CancelledError当普通业务错误吃掉,可能让关闭请求无法生效。
队列项完成后若要重试,重新入队会建立新的计数责任。不要在消费者里无限阻塞地把失败项塞回已满队列,所有消费者都这样做时可能相互等待而没人取任务。可以持久化下一次尝试时间,由独立调度入口按容量重新准入。
5. 优雅关闭:先停止进入,再讨论排空
graceful shutdown(优雅关闭)是应用在停止过程中按协议结束正在进行的工作,不是最后 sleep 几秒。顺序通常是停止新准入、等待已准入生产结束、排空待处理项、停止工作者、释放资源。若还在不断 put,join即使曾经结束也不能表示后续没有新项目。
示例生产者全部结束后 await queue.join,再入队 None作为 sentinel(结束标记),工作者读取后退出且finally确认一次。TaskGroup 等全部子任务结束,最后断言 queue为空,成功项目0/1/2/4/5,失败项目3。这是受控的排空协议,没有残留运行任务。
使用多个消费者需要相同数量的结束标记,或采用经版本核验的 Queue.shutdown语义。结束标记也要消耗队列容量并参与完成计数,不能用业务可能出现的普通值冒充结束。更复杂系统可使用专门对象,以身份而非相等性区分。
排空有期限:一个工作者卡在外部调用时,不能无限等待。关闭超时后需要取消仍在等待的协程,并处理已取出未完成项;若底层线程不能停止,进程退出策略与持久记录恢复另行约定。不能在超时后宣称“全部任务已成功处理”,应该暴露未完成状态。
本例每项只做有限短等待,没有验证线程中止、强制kill和崩溃恢复。TaskGroup在子任务未处理异常时取消兄弟任务,是结构化并发行为,但不等于业务排空成功;如果工作者提前崩溃,生产者还阻塞在put,生命周期管理必须让相关任务一起停止,不能留死锁等待。
6. 接口、后台任务和数据库的一致性
入队前保存业务状态,再入队失败,数据库与内存可能不一致;先入队后提交,消费者可能看到尚未提交或回滚的数据。重要工作应把任务意图与业务状态一起提交,由后续领取环节按容量推进,而不是想用一个 in-process Queue构成跨组件事务。
请求响应里的任务ID应能查询状态,且查询要鉴权。queued、running、succeeded、failed、expired最好有清楚定义。进度与最终结果不应从工作者局部变量随意拼装;状态变更需要可恢复边界。同一任务重复领取仍需业务幂等,消费确认本身不能消除重启窗口里的重复执行。
任务完成后发送通知,也有重复发送和丢失问题,沿用outbox/消费者幂等思路。队列负责资源准入,数据库负责持久状态,接口负责授权与恢复协议,把责任分开才容易定位问题。这不是要求每个小工具都上消息系统,而是明确在什么任务重要性下内存丢失可以接受。
批处理和交互请求可以使用不同容量或优先级政策,避免长期大任务占满所有工作者。优先级也可能导致低优先级饥饿,应验证有限等待与公平性。示例只有FIFO(先进先出)单工作者,不宣称已经解决多租户公平调度。
7. 实战与能力验收
完整文件31_bounded_queue.py可以独立运行:
powershell
python docs/python/examples/31_bounded_queue.py确定输出是队列满时生产者仍等待,成功列表为0/1/2/4/5、失败记录为3,观察峰值不超过2。put等待时长随机器和调度变化,仅用于观察,不声称固定性能。程序最后没有未收割Task,所有出队项目都有对应确认。
独立能力任务一:改成两个工作者,分别投递两个结束标记,验证处理项不丢不重。任务二:加入一个合法但处理较慢的项目,证明 qsize为零时 join仍可能等待。任务三:把某项预期失败从捕获范围移出,观察TaskGroup传播,说明为何不能把异常关闭当成成功排空。
任务四:为入队设置有限预算,满时稳定拒绝并不新增admitted;重试保持同业务ID。验收应覆盖队列峰值、准入数、成功数、失败数与未完成责任,不能只看程序退出码。若加入持久任务表,还要验证重启后恢复,当前内存例子没有这项保证。
8. 观测与容易踩的坑
至少观察等待项数、运行工作者数、入队等待分布、处理时长、失败分类、关闭超时与任务年龄。只看队列深度不足:工作者全部卡住时队列暂时不大,仍可能很快失去吞吐。任务年龄能暴露长期积压,平均值会掩盖尾部老任务。
请求ID、任务ID适合日志与追踪关联,不适合直接变成指标标签,否则每个任务建立新时序。阶段追踪可拆排队与处理,帮助区分资源准入慢和实际执行慢,继续日志指标追踪。数据库池等待可进一步用连接池实证核对。
容易踩的坑包括:Queue有限却无界创建put任务;get后异常遗漏task_done;工作者失败仍等待join;关闭前没有停止生产;请求Session进入后台;把内存accepted写成持久成功。每个坑都来自责任边界没被代码和状态同时表达,而不是asyncio性能不足。
面试问如何关闭后台工作,先说新任务准入,再说在途工作期限、确认、取消与恢复。问为何不用无限Task,说明后台等待仍占内存和资源。问join代表什么,明确它等待完成计数为零,不保证每项业务成功,也不代表消息永久保存。
把容量预算落实到每一条入口
将责任转移模型应用到第二个入口:HTTP直接await put,定时任务却为每项create_task(put)。同一两槽Queue看起来仍合规,但定时入口把尚未准入的责任保存在无界Task集合,系统总积压突破了模型的外边界。要逐条入口追“谁还持有未准入项目”,让等待或拒绝真实返回调用者。
若新增入口在另一个线程,容量规则可以保留,提交机制则要换成受支持的线程安全桥接,不能直接并发修改asyncio.Queue。持久任务领取也一样:一次物化几万项后等进两槽队列,数据库侧的有界领取没有延伸到内存。改入口时重新画责任位置,比只检查maxsize更可靠。
业务取消也要区分项目位置。尚未开始的项目可以在领取时检查取消标记;正在执行的项目是否允许中止,取决于数据库提交和外部效果。简单从队列中删除某个对象会破坏计数与FIFO假设,应采用稳定状态协议。已完成操作的撤销是另一笔业务,不是把done状态改回queued。
优雅关闭测试应在不同位置触发:生产者等待入队、工作者等待get、工作者处理项目、单项失败之后。检查所有路径是否仍有未完成责任,结束标记有没有被提前消费者拿走,以及程序错误是否能传播到主任务。只有正常完成路径通过,不能说明失败关闭不会死锁。
若任务可丢失,明确告知接收只代表本机内存接受;若不可丢失,保存持久状态并验证重启恢复。队列容量、数据库领取批量与消费者并发要一起设置,避免一次领取几万条再等待进入两槽队列,使持久系统的背压在内存中被绕过。
9. 结尾
后台任务必须有可观察的准入、处理和关闭协议,才能把积压限制在系统承受范围内。
- 队列容量限制等待项,固定消费者限制执行并发,上游必须直接承受背压。
- 每次get对应一次task_done,处理失败与队列完成分别记录。
- 关闭先停止准入,再有界排空或取消;内存队列不提供崩溃恢复。
参考与完整代码
python
"""有界队列:背压、逐项确认、失败记录和排空关闭。Python >=3.13。"""
import asyncio
import time
async def main():
queue = asyncio.Queue(maxsize=2)
gate = asyncio.Event()
admitted = []
completed = []
failures = []
waits = []
peak = 0
async def worker():
await gate.wait() # 教学控制点:先让队列满,确定观察阻塞。
while True:
item = await queue.get()
try:
if item is None:
return
await asyncio.sleep(0.01)
if item == 3:
raise ValueError("bad job")
completed.append(item)
except ValueError as error:
failures.append((item, str(error)))
finally:
queue.task_done() # 成功、失败、终止标记都确认一次。
async def producer():
nonlocal peak
for item in range(6):
start = time.monotonic()
await queue.put(item) # 无界 create_task 会绕过这项背压。
waits.append(time.monotonic() - start)
admitted.append(item)
peak = max(peak, queue.qsize())
async with asyncio.TaskGroup() as group:
group.create_task(worker())
producer_task = group.create_task(producer())
# 等待队列达到确定状态,不用固定 sleep 推断调度先后。
async with asyncio.timeout(2):
while queue.qsize() != 2:
await asyncio.sleep(0)
await asyncio.sleep(0)
assert not producer_task.done()
assert admitted == [0, 1]
print("backpressure: queue=2 producer pending")
gate.set()
await producer_task # 停止准入:生产者结束后再排空。
await queue.join()
await queue.put(None)
assert peak <= 2
assert sorted(completed) == [0, 1, 2, 4, 5]
assert failures == [(3, "bad job")]
assert queue.empty()
print("completed:", completed, "failures:", failures)
print("peak:", peak, "put waits:", waits) # 时长随机器变化,不作性能结论。
if __name__ == "__main__":
asyncio.run(main())