外观
25 - 延迟消息、死信队列与重试队列应该怎样设计
摘要
消费者处理消息时,可能遇到下游服务暂时不可用,也可能遇到无法解析的数据。立即重复处理并不能消除这些原因:下游尚未恢复,重试只会增加请求压力;如果要求按顺序处理,一条持续失败的消息还可能阻塞后续消息。
延迟重试给临时故障留出恢复时间,死信队列收纳无法继续自动处理的消息。本文先说明两者如何配合,再讨论重试状态、延迟实现和人工回放的边界。
1. 三类队列的职责
- 延迟消息:到指定时间后才可被消费者获取,用于订单超时等计划任务,也可以承载重试。到期表示具备投递条件,不等于业务一定在该时刻完成。
- 重试队列:保存处理失败但允许再次尝试的消息,等待一段时间后重新投递。这段等待时间称为退避时间。
- Dead Letter Queue(死信队列,DLQ):收纳超过重试上限或明确不可处理的消息,将它们从正常消费流程中隔离出来,等待排查和处置。
延迟描述的是“何时可以投递”,重试描述的是“为何再次投递”,两者并不互斥。基本流程是:处理成功后确认完成;处理失败后先判断原因,可重试的消息安排下一次尝试,不可重试或已超过上限的消息进入 DLQ。具体确认和转移方式取决于消息系统及应用实现。
转移到重试队列或 DLQ 时,还要考虑消息可靠性。如果新队列尚未可靠接收消息,就确认原消息完成,转移失败可能造成丢失;如果转移成功后原消息未能确认,则可能重复投递。因此,队列转移需要可靠交接,业务处理也需要幂等:同一事件被处理多次时,不重复扣款、扣库存等业务副作用。
2. 重试状态
重试需要知道“这是哪个事件、已经尝试过几次、何时再试”。消息应携带或由系统记录:原始 Event ID(事件标识)、首次时间、尝试次数、下次执行时间、最近错误和原 Topic(主题,即组织同类消息的逻辑通道)。首次时间用于观察消息已等待多久,最近错误用于判断失败原因,原主题用于追踪来源和确定回放目标。
不要每次重试生成新业务 ID,否则依赖该标识的去重逻辑可能把重试当作新事件。还应统一次数的含义:attempt 表示总尝试次数还是重试次数,首次消费是否计入上限,都要在生产、消费和运维工具中保持一致。
下面是使用 Java record 语法的状态片段,仅展示部分字段;首次时间、最近错误和原主题还需放在消息元数据或外部记录中。payload 是业务消息内容,nextAttemptEpochMillis 表示以 Unix 纪元毫秒记录的下次尝试时间。这个结构只保存状态,不负责调度或持久化。
java
record RetryEnvelope(
String eventId,
int attempt,
long nextAttemptEpochMillis,
String payload) {}3. 退避与毒消息
网络故障通常适合延迟重试,但要区分暂时不可用与长期配置错误。指数退避是让等待时间随重试次数按倍数增长,避免故障期间持续密集请求下游。参数格式错误通常不会因为等待而自行修复,应直接进入 DLQ。错误分类不清时无限重试,会持续占用消费能力和日志空间。
毒消息指持续处理失败的消息,例如数据不符合处理要求。在必须等当前消息成功才能推进的消费流程中,它可能阻塞同一分区的后续消息。把它隔离出去可以恢复消费进度,但是否允许后续消息先执行,仍取决于业务顺序约束。
下面是一组分级退避时间的设计示例,不是指数退避公式或性能测量。达到上限后停止自动重试,具体次数和时间应按业务时效及下游恢复特点设置。
text
主队列 → 第1次失败 → 10s 重试
→ 第2次失败 → 1min 重试
→ 第3次失败 → 10min 重试
→ 超过上限 → DLQ延迟只能减少重试频率,不能保证下游已经恢复。若调用超时,结果还可能未知:下游已完成操作,但响应没有到达消费者。再次调用前应结合业务状态查询和幂等处理,不能把超时直接等同于“操作未发生”。大量消息同时失败时,还应考虑为等待时间加入随机扰动,分散重试时刻,并限制重试并发,避免集中重试再次压垮下游。
4. 延迟实现的差异
延迟实现需要同时解决两个问题:消息等待期间存在哪里,以及谁负责在到期后投递。常见机制包括:
- 固定延迟级别:从系统支持的一组等待时长中选择,需确认这些级别能否满足业务需求。
- 时间轮:把定时任务按时间槽组织,到相应槽位时触发检查或执行。调度结构本身不代表消息已经可靠保存。
- 延迟 Topic:借助专门的主题承载等待中的消息,再由相应逻辑按到期条件转投。不能仅凭主题名称判断它有定时能力。
- Broker 原生定时消息:由 Broker(消息服务端)管理定时投递,仍需确认它支持的时间范围和可靠性条件。
这些机制各有精度和容量边界。Kafka、RocketMQ、RabbitMQ 插件的能力随版本不同,选型时必须核对具体版本的最大延迟、排序、持久化和故障恢复语义:
- 最大延迟是否覆盖业务等待时间,到期精度是否可接受。
- 等待中的消息是否持久化,服务重启或故障切换后是否仍能投递。
- 后到但更早到期的消息能否及时投递,同一业务对象的消息是否可能改变处理顺序。
- 大量消息集中到期时,投递和消费能力是否足够,是否需要限流。
纯本机内存定时器若没有外部持久化和恢复机制,进程重启后会丢失等待任务,不能承担可靠的延迟投递职责。
5. DLQ 的闭环
进入 DLQ 只表示自动处理已经停止,并不表示业务问题已解决。要形成闭环,必须有告警、查询、脱敏展示、修复、幂等回放和审计:
- 发现问题:监控进入 DLQ 的消息数量、错误类型和等待时间,及时告警。
- 定位原因:按事件标识查询消息来源、尝试记录和最近错误;展示业务内容时隐藏敏感信息。
- 修复并决定处置方式:判断应修复程序、配置还是消息内容,以及消息是否仍有业务价值。人工修改 Payload 后应生成修复版本并关联原事件。
- 受控回放:把待恢复消息重新送入处理流程,控制速率,检查去重和业务顺序,记录操作者、修复内容及处理结果。不能直接在生产队列里匿名重放。
修复版本还需要明确处理规则。如果原事件从未成功完成,要允许修复后的内容继续处理;如果原事件已经产生副作用,就不能仅靠更换标识再次执行。回放前应确认业务状态和幂等记录,避免去重拦住必要修复,也避免绕过去重造成重复操作。
6. 容易踩的坑
- 无限立即重试。 故障没有恢复时,请求量增加却没有新增业务进展,应分类处理并设置退避与上限。
- 重试消息丢失原始 Key。 Key 是消息键;在按键路由的实现中,丢失它可能改变路由并破坏业务顺序。保留 Key 也不等于保证顺序:失败消息延迟期间,后续消息仍可能先完成,需要另行设计顺序约束。
- DLQ 无监控。 正常队列恢复消费后,死信可能长期无人处理,应明确告警和处置责任。
- 回放绕过去重。 重新投递可能重复产生副作用,应先核对业务状态与修复版本的处理规则。
- 只用本机内存保存定时任务。 缺少持久化与恢复机制时,重启会丢失任务。
- 大量未来消息集中到期。 延迟会把压力推到未来,仍需控制到期投递和回放速率。
7. 总结
重试队列负责给临时故障恢复时间,DLQ 负责把不可自动恢复的问题转入可审计流程。
- 重试要分类、退避、有上限并保持原 Event ID。
- 延迟能力需按具体 Broker 版本验证精度和持久性。
- DLQ 必须具备告警、修复和幂等回放闭环。
下一篇:本地事务到了微服务为什么失效:分布式事务问题的本质。