外观
20 - 消息发出后去了哪里:从 Producer 到 Consumer 的完整链路
摘要
一条消息从应用发出,到消费者完成业务,中间要经过发送、存储、复制、拉取和确认。每一步都有自己的“成功”:发送调用返回,不一定代表服务端已接收;服务端确认,也不代表消费者已完成业务。理解这些边界,才能判断消息停在哪一步,以及故障后为什么可能丢失或重复。
1. 场景:日志显示发送成功,消费者却找不到消息
例如,订单服务调用异步 send() 发送“订单已创建”消息,随后立即打印“发送成功”。这里的异步意味着调用方不必等到发送结果确定,就可以继续执行。返回的 Future 是一个用于获取异步操作结果的对象;它尚未完成时,应用还不能据此确认发送成功。
如果进程此时退出,消息可能还在客户端等待发送,也可能已经发出,但应用尚未取得服务端确认。因此,这条日志只能证明发送调用已发起,不能证明消息已被可靠接收。消费者暂时查不到消息,也不能仅凭这一现象判断消息究竟丢在了哪里。
排查的起点是明确:日志里的“成功”,对应的是调用已发起、服务端已确认,还是业务已完成?
2. 完整链路
先认识三个基本角色:**Producer(生产者)**是发送消息的应用;Broker 是接收、保存并向消费者提供消息的服务端节点;**Consumer(消费者)**是读取消息并执行业务的应用。生产者把事件交给 Broker 后,消费者可以按自己的节奏处理,不必与生产者在同一次请求中完成工作。
为了在节点故障后继续提供数据,消息队列可以保存多份副本。在下图采用的主副本模型中,Leader 负责处理该分区的写入,Follower 保存复制得到的数据。**Ack(确认)**表示某一步达到了约定的完成条件;具体条件由产品和配置决定。
下图用日志与消费位置描述主线,更接近 Kafka 类模型。Kafka、RocketMQ、RabbitMQ 的存储、消费组和确认模型不同,术语不能完全互换。图中的复制箭头表示数据复制方向,不限定由哪一方主动发起;复制确认先于发送确认,表示一种等待副本确认的路径,并非所有配置都如此。
图表将在阅读到此处时加载…
沿着这条链路,可以区分四个边界:
- 发起发送。 生产者把消息交给客户端发送逻辑。异步调用返回时,网络发送可能仍未完成。
- 获得发送确认。 Leader 接收消息并追加日志,按配置决定是否等待副本等条件,再向生产者返回结果。成功可能只表示 Leader 已本地接收,也可能要求足够副本确认;不能一概理解成“多数副本已刷盘”。
- 取得消息。 消费者向 Broker 请求记录,Broker 返回消息内容。这只证明消息已到达消费者,尚不能证明数据库更新等业务动作已完成。
- 确认消费进度。 消费者执行业务后提交消费位置,或按产品模型确认消息。后续恢复从哪里继续,取决于这一进度以及实际消费配置。
发送确认、数据持久化和业务完成是不同的状态。即使生产者已经获得 Ack,也仍需分别看存储保障和消费结果。
3. Topic、Partition 与 Offset
在日志模型中,**Topic(主题)**是消息的逻辑集合,例如把订单事件放入同一个主题。一个 Topic 可以分成多个 Partition(分区),每个分区是一条可独立追加的有序日志。不同分区可以并行处理,因此分区既是组织消息的方式,也是提供并行度的单位。
**Offset(偏移量)**是消息在某个分区中的位置,必须与 Topic、Partition 一起理解。两个不同分区中的相同 Offset,不代表同一条消息,也不能用来判断两条消息的先后关系。日志顺序通常只在单个分区内成立;若消费者把取得的消息交给多个线程并行处理,业务完成顺序还可能与日志顺序不同。
消费组用于组织协作消费同一主题的消费者。在 Kafka 类消费组模型中,分区会分配给组内消费者处理,并为该组记录消费进度。因此,讨论“消费到了哪里”时,除了消息位置,还需要明确是哪一个消费组。
消息自身的 Offset 与提交的消费进度用途不同:前者定位记录,后者决定恢复时从哪里继续。在 Kafka 中,提交的 Offset 表示下一条要消费的位置。例如某分区的 Offset 10 已处理完成,且此前的记录也都已处理完成,则可以提交 11。具体产品的消费位置、确认语义和默认值仍需按实际版本核对。
4. 为什么顺序写快
日志模型中的 Broker 常把新消息追加到文件末尾。与频繁在不同位置读写相比,这种顺序 I/O 更容易把相邻数据一起处理;配合批处理,可以减少每条消息单独触发操作的成本。
**Page Cache(页缓存)**是操作系统用于缓存文件数据的内存区域。写入文件的数据可以先进入页缓存,再按策略写到存储设备。刷盘关注的是把数据推进到持久化存储的过程,因此“追加日志成功”不能无条件等同于“断电后数据仍在”。复制到其他节点与本地刷盘也是两种不同的保障,具体成功语义必须结合产品、版本和配置判断。
消息向消费者传输时,还可能采用减少复制的路径。所谓零拷贝通常指减少用户态与内核态之间的数据复制或中转,不代表整个链路完全没有数据复制。sendfile 是可用于文件传输的系统调用,mmap 是文件内存映射机制;产品是否使用它们、用于哪一段路径,以及能减少哪些复制,取决于产品、操作系统与版本。
这些机制解释了高吞吐的来源,却不意味着磁盘永远不是瓶颈。刷盘策略、副本复制、消息大小和保留策略都会影响吞吐与延迟;保留策略决定消息按时间、空间等条件保存多久,也会影响存储需求。
5. Producer 批处理
如果每条消息都单独发送,每次都要承担请求、网络传输和系统调用的固定成本。生产者把多条消息聚成一批发送,可以让更多消息分担这些成本,提高资源利用率。
代价是消息可能需要等待同批的其他消息。流量较低时,一批迟迟凑不满,等待就会增加发送延迟;因此批大小与等待时间需要一起考虑。吞吐量表示单位时间内处理的消息数或字节数,延迟表示一条消息经过某段链路所需的时间,提高吞吐不等于每条消息都更快。
压缩可以减少传输和存储的字节数,但压缩与解压会增加两端 CPU 消耗,收益也取决于消息内容是否容易压缩。高吞吐配置必须结合实际消息大小、流量和延迟目标验证,不能只看批大小或压缩开关。
6. Consumer Pull
**Pull(拉取)**指消费者主动向 Broker 发起请求;图中的 Fetch(offset) 表示从指定位置获取记录。消费者通过拉取节奏和批量大小调节一次接收的工作量,但取得消息以后,仍需安排业务处理并管理消费进度。
在业务写入与 Offset 提交没有原子性保障的常见场景中,两个步骤之间存在故障窗口:
- 先提交进度,再处理业务。 如果提交成功后进程崩溃,业务尚未完成,恢复时却可能从后续位置继续。消息即使仍在 Broker 中,也可能被当前消费组跳过,表现为业务丢失。
- 先完成业务,再提交进度。 如果业务写入成功,但进度提交失败或进程崩溃,恢复后可能再次读取同一条消息,导致重复处理。
因此,先处理业务再提交进度通常需要配合幂等消费:同一个业务事件被重复处理时,不会重复产生扣款、发货等业务效果。确认时机决定故障后倾向于跳过未完成工作,还是重新执行已完成工作;仅仅“收到了消息”不能证明业务可靠完成。
7. 容易踩的坑
- 异步结果尚未确定就记录成功或退出。 应通过 Future 的完成结果或回调判断发送结果,并在退出前妥善处理仍在发送的消息;不必为此把所有发送都改成逐条同步等待。
- 消息体过大。 大消息会增加存储、复制和网络传输的数据量,消费者还要承担解码及业务处理成本。
- 把 Broker Ack 等同于业务消费成功。 两者位于不同边界,排查时应分别观察发送确认与业务结果。
- 只增加 Partition 数,不评估资源成本。 更多分区会增加相关元数据和文件等管理开销,也需要评估消费组重新分配分区的成本。这个重新分配过程称为 Rebalance(再均衡),可能影响消费推进。
- 一次拉取过多,处理时间超出消费组要求。 在有相应存活或轮询间隔约束的消费组模型中,处理过慢可能触发成员变化和分区重新分配。批量大小应与处理耗时、并发方式及客户端配置一起评估。
8. 总结
消息队列是一条从生产确认、Broker 持久化到消费确认的状态链,每个“成功”只代表其中一个边界。
- Producer 成功语义取决于 Ack、刷盘和副本策略。
- Partition 提供并行度与局部顺序;消息 Offset 定位记录,提交的 Offset 记录消费组的推进位置。
- 收到消息不等于业务完成。业务处理与进度提交之间的故障窗口,需要通过正确的确认时机和幂等处理应对。
下一篇:消息为什么会丢:生产、存储和消费三个阶段逐层排查。