外观
23 - 消息顺序为什么如此昂贵:Partition、并发消费与业务键
摘要
订单先创建后取消,消费者却先处理取消,可能导致状态更新失败或得到错误结果。把所有消息都改成串行处理,又会让互不相关的订单相互等待。
顺序保证要回答两个问题:哪些消息必须有先后关系,这个关系要保持到读取、执行还是数据库提交?本文先解释分区的基本模型,再说明业务 Key 路由、并发消费、失败重试与扩容如何影响顺序。
1. 先定义顺序范围
以 Kafka 这类分区日志模型为例,**Producer(生产者)**发送消息,Broker 是保存消息并提供读取服务的服务端,**Consumer(消费者)**读取消息并执行业务。**Topic(主题)**组织同一类消息,一个主题可以包含多个 Partition(分区)。每个分区是一条独立的日志,消息在其中按位置排列;不同分区之间不能仅凭各自的日志位置确定统一先后关系。
在这个模型中,要区分三种顺序:
- 全局顺序:整个 Topic 的所有消息都遵循一个顺序,通常需要单分区或其他统一串行点。若业务提交也必须按此顺序完成,处理流程还要维持相应约束。
- 分区顺序:同一 Partition 内按日志位置读取。它描述的是消息进入该分区后的排列和读取顺序,不自动保证数据库写入也按此顺序完成。
- 业务顺序:同一订单、账户或设备的事件按业务要求处理,不同实体可以并行。
例如,订单甲的“创建”必须先于“取消”,但订单乙不一定需要等待订单甲处理完成。这类场景需要的是同一业务实体有序,而非全局有序。若强行让所有订单串行提交,一条慢消息就会拖住其他订单;允许无依赖的实体并行,才能利用更多处理能力。
还要先确定业务事件自身的顺序。如果两个生产者同时发送同一订单的事件,分区日志可以记录它们的到达顺序,却不能据此推断业务上谁应先发生。业务版本或其他明确的先后规则,需要由业务流程提供。
2. 用业务 Key 路由
**Key(消息键)**是生产者随消息提供、可供分区路由使用的标识。要让同一订单的事件进入同一分区,可以用订单 ID 作为 Key。下面是 Java 方法片段,假设 OrderEvent.orderId() 返回字符串;它只提取 Key,实际发送时还需将其传给使用该 Key 路由的客户端:
java
String partitionKey(OrderEvent event) {
return event.orderId(); // 同一订单稳定映射到同一 Partition
}同一 Key 稳定映射到同一 Partition,需要路由算法、分区数量和客户端的 Key 表示方式保持一致。只返回订单 ID,并不独立构成顺序保证:生产端仍需按约定发送事件,消费端也要保持相应处理顺序。
Key 应表示业务实体,而不是每次事件的唯一标识。例如,“创建订单”和“取消订单”是两个不同事件,可以有不同的事件 ID,但应使用同一个订单 ID 路由。不同生产者还应统一 Key 的格式,避免把同一个订单分别表示为 "123" 和 "00123",导致路由结果不同。
若路由算法或 Partition 数变化,同一 Key 的新旧消息可能位于不同分区。旧分区尚有积压、新分区已开始消费时,新事件可能先完成。增加分区因此不只是容量调整,还涉及新旧路由切换与存量消息处理。扩容期间如何维持顺序需按消息系统实现设计,不能假定自动保证。
3. 并发消费怎样破坏处理顺序
假设同一订单的事件 A 是“创建”,B 是“取消”,分区中 A 位于 B 之前。消费者按 A、B 拉取后,如果把两者提交给线程池并行执行,A 可能因数据库等待而变慢,B 却先写入数据库。读取顺序没有改变,业务提交顺序已经改变。
一种办法是按 Key 串行执行:同一 Key 的前一条消息完成必要的业务提交后,才执行后一条;不同 Key 仍可并行。这里的“完成”应以业务效果提交为准,不能只是任务已提交到线程池。若直接把整个分区串行处理,实现更简单,但分区内其他订单也会等待慢消息。
另一种办法是在业务存储处用版本约束拒绝不符合当前顺序的更新。业务版本表示实体状态推进到哪一步,不等同于消息在分区中的位置。下面是使用参数占位符的 SQL 更新片段,需由数据库驱动绑定参数:
sql
UPDATE orders
SET status = ?, event_version = ?
WHERE id = ? AND event_version = ?;四个参数依次是目标状态、新版本、订单 ID、预期的当前版本。例如,事件要求订单从版本 1 推进到版本 2,就只允许更新当前版本仍为 1 的行。应用必须检查更新结果,不能把没有匹配到记录当作业务成功。
这种条件更新只负责挡住不符合版本条件的写入,不会自动重新排列消息。若版本 3 的事件先到,而版本 2 尚未处理,应用仍需决定等待、重试或暂存;若事件已经处理过,也需要识别重复。版本推进规则应与业务状态迁移一致,不能只因为事件携带的数字更大就覆盖当前状态。
并行消费还要正确推进消费位置。若先读到的消息失败,不能仅因后续消息成功就确认已越过失败消息,否则恢复消费时可能跳过它。保持业务顺序与正确确认消费进度,是两项需要一起设计的约束。
4. 失败重试的阻塞
继续使用同一订单的 A、B。A 失败后,若 B 依赖 A 的结果,就不能在 A 尚未成功时直接让 B 生效。常见选择如下:
- 阻塞分区,等待 A 成功。 在后续消息不越过 A、失败消息不被跳过的条件下,可以保持处理顺序,但会拖住分区内其他实体的消息。
- 把 A 放入重试队列,继续处理 B。 重试队列用于稍后再次尝试失败消息。这样可减少主消费流程的等待、提高可用吞吐,但若 B 先于 A 生效,同一实体的业务顺序就已改变。
- 暂存 B,等待缺失版本补齐。 业务状态机用明确的状态及合法迁移管理处理过程。它可以让无依赖的实体继续推进,但需要管理暂存消息、缺失版本和恢复条件,复杂度最高。
按 Key 调度时,可以把等待范围缩小到失败的 Key,但这个 Key 后续依赖 A 的消息仍需等待。若 A 一直无法成功,还必须有明确的终止或补偿规则;把 A 移走,并不意味着依赖它的 B 已经可以安全执行。
顺序的成本来自依赖:后续操作需要前一步的结果,就必须等待它完成,或者增加暂存、版本检查与恢复机制。严格顺序、高吞吐和失败隔离之间的取舍,取决于依赖范围及业务允许的处理方式。
5. 容易踩的坑
- 忽略生产端并发与重试。 多个并发发送请求及失败重试可能影响消息写入分区的顺序;具体行为取决于消息系统、客户端版本和相关配置,不能只依赖业务代码中的调用先后。
- 不同生产者采用不同的 Key 格式。 同一实体得到不同 Key 时,可能进入不同分区,失去依靠同一分区维持顺序的前提。
- 把同 Key 的消息交给线程池并行处理。 分区读取有序,也挡不住后续任务先完成业务提交。
- 死信重放时直接追加到主 Topic 尾部。 死信队列存放按规则停止正常重试的消息;重放是把这些消息重新送回处理流程。旧事件追加到尾部后可能晚于新事件到达,应按业务版本和重放规则处理,不能把当前日志位置当作原来的业务顺序。
- 把版本检查当作完整的乱序恢复。 拒绝更新之后仍需处理缺失、重复或过期事件,否则可能只阻止了错误写入,却没有完成业务。
6. 总结
顺序保证必须明确范围,并贯穿生产路由、Broker 分区、消费调度和最终存储。
- 先确定哪些事件存在依赖;多数场景只需要同业务 Key 有序,全局串行会让无关实体相互等待。
- 分区读取有序不代表并行业务提交有序。
- 失败处理必须在顺序和可用吞吐之间明确取舍。
下一篇:消息积压时先扩容消费者对不对:从 Lag 定位真实瓶颈。