外观
22 - 消息为什么会重复:至少一次投递下的正确消费方式
摘要
消费者已经完成扣款,提交消费确认时网络断开;消息再次到达后,如果继续扣款,同一笔业务就会执行两次。解决问题不能只靠减少重试,还要让消费者识别同一个业务事件,使重复输入不重复产生业务效果,这就是幂等消费。
本文先解释业务提交与消费确认之间的故障窗口,再说明稳定事件 ID、数据库唯一约束和事务如何配合,最后讨论分区重新分配、批量处理与跨资源操作的边界。
1. 重复是正常路径
先区分三个角色:**Producer(生产者)**创建并发送消息;Broker 是保存消息、提供投递或读取服务的消息系统服务端;**Consumer(消费者)**读取消息并执行业务。消费者完成业务后,还要向消息系统确认消费进度。
至少一次投递允许同一条消息被处理多次,通过失败重试降低消息被遗漏的风险。它需要相应的存储、重试和确认机制支持,并不意味着在任意故障、任意保留期限下都不会丢消息。
在业务数据库与消费确认没有共同原子提交机制时,通常采用下面的顺序。原子提交指相关操作要么一起成功,要么都不生效:
text
读取消息 → 提交业务数据库事务 → 确认消费进度两次提交之间存在故障窗口:业务已经生效,确认却尚未完成。下面展示事件 E100 在这个窗口内遇到确认丢失的情况:
图表将在阅读到此处时加载…
图中的 Ack 指消费确认;Offset Commit 指提交消费位置。两者代表不同消息系统的进度确认方式,并不是所有产品都逐条确认消息。在 Kafka 中,**Topic(主题)**由多个 **Partition(分区)**组成,**Offset(偏移量)**是记录在分区内的位置;提交的消费位置表示下一条要消费的记录位置。
消息系统不能仅凭“没有收到确认”判断数据库事务是否成功。逐条确认模型可能重新投递未确认消息;Kafka 这类日志模型则可能在消费者恢复时,从已提交位置再次读取。因此,业务成功后的确认失败、确认前进程崩溃,都可能导致重复消费。
如果反过来先确认再执行业务,确认成功后进程崩溃,就可能跳过尚未完成的业务。先完成业务再确认进度,把这个故障窗口的风险转为重复;幂等消费负责控制重复的业务影响。
2. 数据库唯一约束去重
去重需要先认出“这是同一个事件”。**Event ID(事件标识)**用于标识业务事件,同一个事件的发送重试和重复消费应沿用同一 ID。第 4 节说明它的生成位置。
下面是去重表的 SQL 定义片段,字段类型需结合所用数据库方言确认;它用于说明约束结构,不包含完整的消费程序:
sql
CREATE TABLE consumed_event (
consumer_name VARCHAR(64) NOT NULL,
event_id VARCHAR(64) NOT NULL,
consumed_at TIMESTAMP NOT NULL,
PRIMARY KEY (consumer_name, event_id)
);联合主键 (consumer_name, event_id) 是唯一约束:同一个消费业务对同一个事件只能保存一条记录。consumer_name 应标识稳定的消费业务,而不是每次启动变化的进程实例;不同消费业务可以分别处理同一事件。consumed_at 由写入流程提供,表定义没有为它设置默认值。
关键是把去重记录和业务修改放进同一个数据库事务:
- 开启事务,尝试插入去重记录。
- 插入成功后,更新业务数据。
- 两项写入一起提交成功,才确认消费进度;业务失败则回滚,不把消息当作成功消费。
- 如果插入因该联合主键冲突而失败,按数据库要求结束或回滚当前事务,确认已有记录对应已提交的处理结果后,跳过业务并确认消息。
这种设计下,去重记录存在意味着同一事务中的业务修改也已提交。若业务更新失败,去重记录随事务回滚,重试仍能执行;若事务成功但消费确认失败,重试会遇到唯一约束,业务便不会再次生效。并发消费者也应通过唯一约束竞争,而不能只靠“先查询,没有记录再插入”,因为两者可能同时查到没有记录。
只能把目标去重键的冲突作为重复事件处理。连接失败、业务表其他唯一键冲突等异常,不证明该事件已处理成功;事务状态和并发冲突的处理方式还需结合数据库与驱动确定。
如果去重表与业务写入不在同一事务资源中,仍有部分成功的窗口。例如先提交去重记录,再调用支付接口,接口失败后重试可能被去重记录挡住。可按业务选择 Outbox(事务发件箱)、状态机或业务主键约束:Outbox 在本地事务中保存业务变更和待发送任务,再由发送流程重试;状态机用明确的状态和合法迁移管理多步操作;业务主键约束在最终落库处阻止同一业务重复创建。它们不能自动让外部调用与本地事务一起提交,外部接口仍需相应的幂等或结果查询、补偿机制。
3. Rebalance 与长处理
在 Kafka 中,消费组是一组协作处理分区、共享消费进度的消费者。**Rebalance(重新平衡)**是重新分配分区归属的过程;Poll 是客户端拉取消息、推进消费流程的调用,心跳用于让协调方判断消费者是否仍然存活。
消费者长时间不 Poll,或未在会话要求内维持心跳,分区可能转移给其他消费者。若旧消费者的业务任务尚未结束,新消费者又从已提交位置读取,就可能同时处理此前未确认的消息。具体超时参数、心跳机制和线程模型依 Kafka 客户端版本与配置而定,不能把“业务处理耗时长”直接等同于“心跳一定停止”。即使降低超时导致的重复,也不能消除业务提交后确认失败的窗口。
批量处理要记录每条消息的结果,不能一条失败后仍把整批模糊地确认成功。并行处理还会让分区内的完成顺序与读取顺序不同,而一个提交位置只能表示连续的消费进度。
例如,同一分区的 Offset 100 尚未成功,101 已成功。若此时提交下一条位置 102,恢复后便可能跳过 100。应从该分区此前的消费起点检查连续完成的记录,不能只依据本批中最大的已完成 Offset 推进进度;失败或尚在处理的记录形成缺口时,后面的成功记录需等待缺口补齐。进度尚未推进期间,后面的记录仍可能被再次读取,因此仍需要幂等处理。
4. 事件 ID 的来源
Event ID 应在业务事件创建时生成,并随事件保存和传递。Producer 重试不能重新生成,否则消费者会把两次发送当作两个事件。不同的业务事件也不能随意共用一个 ID,否则合法的新事件会被误判为重复。
例如,一个订单可以先产生“已创建”事件,再产生“已取消”事件。订单 ID 标识业务对象,Event ID 标识一次业务事件;直接用订单 ID 去重全部订单事件,会把取消事件也拦住。只有当业务明确规定“这个键对应的操作只能发生一次”时,才能以该业务键承担相应的幂等约束。
只用 Offset 去重,会把身份绑定到 Topic 和 Partition;Offset 本身也不是跨分区唯一的。同一业务事件重发、重放到另一个位置,或迁移到另一个主题后,消息位置可能改变,稳定的 Event ID 才能继续识别它。去重记录的保留时间还应覆盖允许重试和重放的范围,否则旧事件再次到达时可能被当作新事件。
5. 容易踩的坑
- 用 Redis 短 TTL 去重要求永久唯一的支付业务。 TTL 是记录的存活时间;记录过期后,延迟重试或重放可能再次产生业务效果,最终业务存储仍需满足相应的唯一性要求。
- 先提交去重记录,再在另一个事务更新业务。 第二步失败时,去重记录可能使后续重试跳过尚未完成的业务。
- 把所有异常都当作重复成功。 只有符合去重设计的键冲突才能走重复分支,其他失败需要进入错误处理流程。
- 以为去重能解决同一对象的所有并发问题。 两个不同事件都能通过去重,却仍可能同时修改同一订单;还需状态版本控制等业务并发约束,拒绝不符合当前状态或版本的更新。
- 每次发送重试都生成新的 Event ID。 ID 变化会使同一事件绕过去重约束。
6. 总结
至少一次投递通过“可能重复”换取“不轻易丢失”,消费者必须把重复视为正常输入。
- 业务成功但确认失败是重复投递的基本来源。
- 去重记录与业务修改应处于同一原子边界。
- 稳定 Event ID 应来自业务事件,而非某次发送尝试。
下一篇:消息顺序为什么如此昂贵:Partition、并发消费与业务键。