外观
21 - 消息为什么会丢:生产、存储和消费三个阶段逐层排查
摘要
日志显示“消息已发送”,业务数据却没有更新,不能直接判定消息丢在了消息队列中。消息可能尚未发送成功,也可能在节点故障后丢失,还可能仍在队列里,却被消费者跳过。排查需要沿着生产、存储、消费三个阶段,分别确认发送结果、存储保障和业务结果。
先认识三个角色:**生产者(Producer)**是发送消息的应用;Broker 是接收、保存并向消费者提供消息的服务端节点;**消费者(Consumer)**是读取消息并执行业务的应用。基本链路是:
text
生产者发起发送 → Broker 接收并保存 → 消费者读取 → 完成业务 → 确认消费进度每一步的“成功”只证明当前步骤达到了约定条件。Broker 接收成功不能证明业务已经完成,消费者读到消息也不能证明数据库已经更新。下面以按日志位置记录消费进度的模型展开;Kafka、RocketMQ 等产品的确认与存储语义,需要结合实际版本和配置判断。
1. 生产阶段
异步发送允许调用方在发送结果确定前继续执行。下面是 Java 异步发送的局部反例,需置于已初始化生产者和消息对象的上下文中:
java
producer.send(record);
log.info("message sent"); // 只表示调用已发起这条日志只证明发送调用已发起。如果进程随后退出,消息可能仍在客户端等待发送;如果网络请求失败,应用也可能尚未取得最终结果。因此,应通过 Future(用于获取异步操作结果的对象)或完成回调监听发送结果,而不是用紧随调用的日志判断成功。
取得 **Ack(确认)**后,记录 Broker 返回的消息标识。在 Kafka 类日志模型中,**Topic(主题)**是消息的逻辑集合,**Partition(分区)**是主题内可独立追加的日志,**Offset(偏移量)**是消息在某个分区中的位置;三者一起才能定位记录。其他产品可以记录 Broker 返回的消息 ID。
对重试耗尽等最终失败,需要留下可恢复的待发送记录,供后续重试或补偿。若业务事务已经提交,而消息发送失败,仅打印错误日志不能让下游补上这项业务。**Outbox(事务发件箱)**的基本思路是在同一数据库事务中保存业务变更和待发送事件,再由独立发送流程投递消息。
逐条同步等待发送结果会限制并发,可能降低吞吐量,即单位时间内发送的消息数或字节数。可以结合批量发送、异步结果处理和 Outbox 设计可靠发送流程;这些手段分别解决发送效率、结果观察和业务事件恢复问题,不能相互替代。
2. Broker 存储阶段
在主副本模型中,**Leader(主副本)**负责接收写入,其他副本通过复制保存数据。消息到达 Leader 后,是否写入 Page Cache(页缓存,操作系统用于缓存文件数据的内存区域)、是否刷盘到持久化存储、是否复制到足够副本,取决于产品和配置。进入页缓存、完成刷盘和完成副本复制是不同的状态,不能把一次发送确认理解为三者都已完成。
例如,Leader 仅在本地接收消息后就返回确认,随后宕机;如果接替它的副本尚未复制这条消息,故障切换后就可能找不到记录。排查时要把故障时间与复制状态、刷盘策略和选主规则联系起来,而不只检查生产者是否收到确认。
Kafka 中,acks 控制生产者要求的发送确认条件,**ISR(同步副本集合)**描述满足同步要求的副本集合,min.insync.replicas 用于约束相应写入条件下的最小同步副本数。它们的具体语义由版本、客户端参数和 Broker 配置共同决定,不能只看客户端一个参数。RocketMQ 也有不同的刷盘与复制模式,需要按实际部署核对其确认条件和故障恢复行为。
3. 消费阶段
消费者除了读取消息,还要记录消费进度。在 Kafka 中,提交的 Offset 表示下一条要消费的位置,恢复时消费组通常从已提交的位置继续;消费组是协作处理消息并共享一套消费进度的消费者集合。消息自身的 Offset 用来定位记录,提交的 Offset 则影响恢复起点。
在数据库写入与进度提交没有原子性保障的场景中,危险的处理顺序是:
text
拉取消息 → 提交 Offset → 写数据库 → 进程崩溃这里的故障条件是:Offset 已提交成功,但数据库写入尚未完成或尚未提交,进程就崩溃。重启后从新 Offset 继续,未完成的消息便可能被跳过。消息即使还在 Broker 中,业务也没有落实,这属于业务丢失。如果数据库事务已经成功提交,则不能仅凭之后的进程崩溃认定发生了这种丢失。
更常见顺序:
text
拉取消息 → 幂等写数据库成功 → 提交 Offset若数据库写入成功后,Offset 提交失败或进程在提交前崩溃,恢复后可能再次读到同一条消息。因此,先处理业务再提交进度需要配合幂等消费:同一个业务事件重复处理时,不重复产生扣款、发货等业务效果。这种顺序把故障窗口中的风险转为重复处理,再由业务约束控制重复的影响。
4. 端到端证据
为每个业务事件生成稳定的 Event ID(事件标识),发送重试时沿用同一标识,才能把多次发送尝试与同一项业务关联起来。按实际链路记录:
- 业务事务和 Outbox 行;
- Producer 尝试与 Broker Ack;
- Topic/Partition/Offset;
- Consumer 拉取、处理结果与 Offset 提交;
- 最终业务表中的 Event ID。
同时记录消费组和时间信息,避免把不同消费组的进度混在一起。采用 Outbox 时,业务事务和待发送事件记录可以帮助确认事件是否已经创建;发送结果帮助确认 Broker 是否返回确认;消息位置与消费进度帮助判断消息是否被读取或跳过;最终业务记录则帮助确认处理是否完成。
排查时沿着同一个 Event ID 找到最后一个有证据支持的成功步骤,再检查下一步的失败记录和配置。例如,找到了发送确认却没有业务结果,就需要继续查存储与消费;找到了消费记录却没有数据库提交结果,就应检查业务处理和确认时机。仅有“发了”和“没收到”两条日志,无法区分这些情况;缺少某一步日志本身也不能证明该步骤没有发生。
5. 容易踩的坑
- 自动提交 Offset 早于业务完成。 自动提交周期短于处理时间时,需要结合客户端线程模型和配置,检查是否会提前推进进度;周期长短本身不足以证明安全或丢失。
- 消费异常被
catch后仍正常返回。 在框架以正常返回判定成功的模式下,这会把业务失败误报为处理成功,并可能推进消费进度。 - Producer 重试耗尽后只打印日志。 没有补偿存储,失败事件就无法依靠这条日志自动恢复。
- 允许不安全 Leader 选举。 这类选举允许未满足同步要求的副本接任 Leader,不能据此假定新 Leader 拥有完整消息。
- 消息过期或 Topic 保留期短于最长积压时间。 积压是尚未处理完的消息;若消息在消费者追上之前被清理,后续就无法继续读取。
- 忽略过滤规则、消费组和起始 Offset。 消息可能被过滤、由另一个组处理,或位于当前读取起点之前,不能把“当前消费者没看到”直接等同于存储丢失。
6. 总结
消息可靠性必须分别证明生产已确认、Broker 已按目标持久化、消费业务已完成。
- 异步发送返回不等于 Broker 已接收。
- 副本和刷盘语义必须结合产品版本与配置判断。
- 消费应先完成幂等业务,再确认位置,从而接受可控重复而非丢失。
下一篇:消息为什么会重复:至少一次投递下的正确消费方式。