外观
24 - 消息积压时先扩容消费者对不对:从 Lag 定位真实瓶颈
摘要
消息积压持续增长,说明消息进入的速度超过了消费进度推进的速度。增加消费者能否解决问题,取决于有没有可分配的分区、消费者慢在哪里,以及下游还能承受多少请求。若瓶颈在数据库,扩容甚至可能让积压增长得更快。
本文先建立积压与吞吐的基本模型,再说明如何定位瓶颈、选择止损措施和估算追平时间。
1. Lag 为什么增长
以 Kafka 这类分区日志模型为例,**Topic(主题)**组织同一类消息,一个主题可以分成多个 Partition(分区)。生产者向分区写入消息,消费者读取消息并执行业务。消费组是一组协作消费这些分区的消费者,每个消费组维护自己的消费进度。
**Offset(偏移量)**表示消息在分区日志中的位置。**Lag(消费滞后量)**通常用分区末端位置与消费位置之间的差距表示。看监控前要确认:它使用的是已提交位置,还是当前读取位置。消息被读入内存、业务处理成功和消费进度提交是不同阶段;读取很快,并不等于业务已经处理完。
为了分析容量,可以把尚未完成处理的消息看作积压,把单位时间内成功完成业务处理的消息数称为有效消费速率。在消费进度能反映处理完成情况、没有跳过消息等操作时,可用下面的简化关系理解积压变化:
text
Lag 增长速率 = 生产速率 - 有效消费速率若每秒生产 10000 条,只能消费 7000 条,Lag 每秒增加 3000。现有积压 1800 万,消费恢复到 13000 条/秒后,若生产仍保持 10000 条/秒,净追平速度为 3000 条/秒,理论至少需要 6000 秒;还未计流量波动。这是恒定速率下的示例估算,不是容量实测。
这里不能用 1800 万直接除以 13000,因为追积压期间仍有新消息进入。只有有效消费速率持续高于生产速率,积压才会减少;两者相等只能维持现状,消费更慢则无法追平。估算时还应观察一段时间内的稳定吞吐,不能把短时峰值当作可持续能力。
2. 先判断瓶颈在哪
在常见的 Kafka 消费组分区分配模型中,同一时刻,一个分区只分配给组内一个消费者。一个消费者可以负责多个分区,因此增加消费者可能分担工作;但组内消费者数超过所消费的 Partition 数后,通常不能继续提高分区读取并行度。这里应统计实际消费成员,不能简单把部署实例数等同于消费者数。
先看各分区的 Lag 和各消费者的处理情况,再判断是否值得扩容:
图表将在阅读到此处时加载…
图中的“满负载”需要结合 CPU、处理线程和等待时间判断。CPU 不高也可能是消费者一直在等数据库连接、外部调用或失败重试;此时继续加实例,未必能增加有效吞吐。“有效分区数”指能实际提供并行处理机会的分区数量,不能只看主题配置了多少分区。
排查时可以依次回答三个问题:
- 积压是否集中在少数分区? 若大量消息集中到某个分区,就形成了热点。单个热 Partition 不会因增加空闲消费者而拆开,应检查消息键的分布、该分区的处理成本及顺序约束。
- 消费者是在计算,还是在等待? 若多个分区积压、消费者计算资源已用满,且仍有分区可供其他消费者接手,扩容才可能分担负载。若主要时间花在阻塞或错误处理上,应先定位等待对象与失败原因。
- 下游是否还有余量? 即使分区允许并行,也必须确认数据库和外部服务能承受新增并发,再决定扩容幅度。
增加分区也不是无条件的解决办法。如果业务依赖同一消息键进入同一分区来维持顺序,分区数量变化可能改变路由,必须一起考虑新旧消息的处理顺序。
3. 下游才是容量上限
假设消费逻辑每条都写数据库。扩容从 10 个实例到 50 个后,同时到达数据库的请求可能增加:连接不足会让请求等待,多个事务更新同一行会产生锁竞争。等待拉长单条处理时间,失败又可能触发重试,最终总吞吐反而下降。这是可能发生的因果链,不代表实例增加到 50 个就一定出现问题。
因此,扩容前应把单条处理耗时拆开观察,而不是只看消费者数量:
- 批处理大小与业务耗时:每批处理多少条、完成一批需要多久,是否有少数慢消息拖长整批耗时。
- 数据库连接等待与热点行锁:消费者是在等可用连接,还是事务在争用同一批数据。
- 外部 API 限流:接口是否限制请求速率,新增并发是否只会带来更多拒绝和等待。
- 失败重试:成功处理的消息数是否增加,还是请求量增长主要来自同一批失败消息。
吞吐应以成功完成业务处理为准,不能把重试次数或拉取次数算成新增处理能力。调整批量大小、并发或实例数后,要同时观察有效消费速率和下游延迟、错误率;若有效吞吐不再增加,继续扩容就缺少依据。
4. 止损策略
止损的目标是先控制积压增长,再在安全容量内追平。措施应根据瓶颈和业务允许的处理方式选择:
- 暂停或限制非核心生产流量。 降低进入速率,可以减少新增积压,为现有消息留出处理能力;但要明确被限制业务如何恢复。
- 临时扩容,但不突破下游安全容量。 适用于仍有分区可分担、消费者资源不足且下游有余量的情况。扩容后继续观察有效吞吐,避免只增加请求并发。
- 批量写入、减少逐条 RPC。 RPC 是远程过程调用,即通过网络请求其他服务。若耗时主要来自逐条调用的固定开销,批处理可能减少开销;同时要处理批内失败、重试和顺序要求。
- 将积压转储到独立 Topic 或存储后离线回放。 回放是把保存的消息重新送入处理流程。转储后应确认消息已可靠保存再推进原消费进度,并限制回放速率;还要处理重复消息和业务顺序,避免主队列 Lag 降低后业务仍未完成。
- 对超过业务时效的消息按规则丢弃或补偿。 业务时效是消息仍有处理价值的期限,不等同于消息系统的保存期限。跳过处理必须有明确规则、记录和恢复或补偿方案。
- 通过预先设计的优先级通道处理高价值消息。 若消息已经混在要求顺序处理的分区中,不能只因为价值更高就随意越过前面的消息。
5. 容易踩的坑
- 只看消息条数。 相同 Lag 下,消息大小和单条业务成本不同,追平所需的资源与时间也可能不同。
- 扩容超过分区可提供的并行度。 新消费者可能没有分区可接手;单分区热点仍然存在。
- 追积压时关闭所有限流。 消费侧短时加速可能压垮数据库或外部服务,失败与重试反而挤占有效处理能力。
- 无限快速重试毒消息。 毒消息指持续处理失败的消息,例如数据不符合处理要求。应按失败原因设置重试边界,避免它长期占用消费能力或阻塞后续消息。
- 修改 Offset 跳过积压,却没有审计和补偿方案。 推进消费位置只改变系统记录的进度,不会自动完成被跳过消息的业务处理。
- 保留期小于预计追平时间。 在按时间清理消息的系统或配置中,未消费消息也可能到期被清理。还应比较最老积压消息的剩余保存时间与预计处理时间,而不是只拿完整保留期做比较。
6. 总结
消息积压表示生产与有效消费能力失衡,扩容只有在分区和下游仍有余量时才有效。
- 确认 Lag 的监控口径,用净消费速率估算追平时间。
- 根据分区积压分布和处理耗时定位瓶颈,再决定是否增加消费者。
- 在下游安全容量内止损与回放,同时兼顾消息时效、业务顺序和可恢复性。
下一篇:延迟消息、死信队列与重试队列应该怎样设计。