外观
分布式速记手册
摘要
服务拆分后,超时、重复、局部失败与数据传播延迟成为正常路径。速查时先确认业务完成条件、请求身份和时间预算,再讨论缓存、消息、锁及一致性。具体产品的持久化、复制和重试保证以部署版本与配置为准。
快速入口
知识速记
| 知识点 | 结论与条件 |
|---|---|
| CAP | 网络分区下讨论一致性与可用性的承诺,不是任何系统随意三选二;先定义操作与失败模型 |
| 一致性 | 强一致、读己之写、单调读等是不同承诺;“最终一致”还需要收敛机制和观测条件 |
| Deadline | 排队、连接、执行和重试共享总预算;跨主机时钟差会影响截止时间传递 |
| 重试 | 只有可安全重复或可查询结果的操作才适合自动重试;次数、时间、退避和抖动需一起限制 |
| 幂等 | 同一业务请求身份对应同一效果;唯一约束、并发处理、结果存储和过期都要设计 |
| 限流与隔离 | 速率、并发与等待数量不同;限制入口不自动保护所有下游,需要按资源预算 |
| 熔断 | 对失败与慢调用作有状态决策,半开探测需要受限;不是永久屏蔽故障依赖 |
| 缓存一致性 | 更新数据库后删缓存仍有竞争窗口;版本、过期、消息与读写策略决定允许的旧值范围 |
| 热 Key / 大 Key | 前者是访问集中,后者是单值体积或元素多;集群扩容不自动分摊单 Key |
| 消息确认 | 发送确认、Broker 持久化、消费处理、offset 提交是不同边界 |
| 消费幂等 | 至少一次路径允许重复;去重和业务变更需要共同原子边界,确认顺序决定丢失与重复风险 |
| 顺序 | 通常是某个 Key 或 Partition 内的顺序,路由和并发消费都会影响最终处理顺序 |
| Outbox / CDC | 把业务修改与待发布记录纳入本地事务,发布仍可能重复;消费者仍需去重 |
| 锁与 Fencing | 租约失效后旧持有者仍可能继续执行;存储必须校验单调令牌才能拒绝陈旧写入 |
| TCC / Saga / XA | 资源原子提交、预留与业务补偿有不同中间状态、恢复和成本,不能互称自动回滚 |
一致性、CAP 与业务完成
线性一致关注操作符合实时先后;读己之写保证自己后续读不回退到写前;最终一致要求在条件满足时收敛,但还需传播、重试和冲突处理机制。CAP 的取舍针对网络分区下的特定一致性与可用性承诺,不是任意时刻随便选两项。
业务成功应定义最终效果,例如扣款与订单状态一起满足规则,不能只用 RPC 返回或日志存在作标准。超时意味着调用方没有按时取得结果,服务端可能未开始、运行中或已提交。
Deadline、重试、熔断、限流
总时间预算覆盖排队、连接、执行、读取和重试。每次下游最多使用剩余预算,不能每次重试重置完整时长。重试只针对可安全重复或可查结果的操作,限定次数与总时间;指数退避与随机抖动减少同步冲击,多层重试还可能把尝试数乘法放大。
限流限制到达速率,信号量等限制在途并发,有界队列限制等待;三者不同。固定窗口在边界可突发,滑动窗口更细但状态成本更大,令牌桶允许受容量约束的突发,漏桶强调平滑处理/放行。分布式额度还要定义实例分摊和配置传播。
熔断 Closed 正常采集,Open 拒绝部分调用,Half-open 有限探测恢复;具体阈值和恢复策略依实现。降级返回什么、是否改变业务语义要明确,不能用“成功但无真实结果”掩盖数据丢失。
幂等与缓存:需要的完整规则
幂等键表示同一业务操作,尝试 ID 表示一次调用;两者不能混用。去重记录与业务变更同事务/原子边界提交,重复时返回原结果或明确处理中。唯一键要包含业务范围,键的过期应覆盖重复窗口;过期后再次执行是否安全需另定义。
缓存穿透是查不存在数据反复回源,可空值短缓存、校验或 Bloom 过滤;击穿是热点缺失触发大量回源,可请求合并/互斥重建;雪崩是大范围失效或缓存故障,可过期抖动、分批重建、限流降级。Bloom 阳性仍需确认,空值缓存也要考虑新数据产生。
写数据库再删缓存仍可能被并发旧读回填;版本、过期、异步通知与读写策略共同决定旧值窗口。热 Key 是访问集中,大 Key 是体积/元素多,单 Key 不会因 Redis 加节点自动散开。SCAN 是增量遍历,不是稳定快照,全程可能重复或遇到变化。
消息确认、顺序、积压
消息经历生产、发送确认、Broker 持久化/复制、消费处理与提交进度。生产者日志“成功”不替代服务端持久化保证;消费前确认可能丢处理,消费后确认可能重复。至少一次路径要通过业务去重形成一次效果。
顺序通常针对业务 Key 或 Partition,发送路由、重试、并发消费和异步提交均可影响最终处理顺序。分区内有序读取不自动保证跨线程有序完成。积压看每分区到达率和有效完成率;净完成率=完成率-到达率,只有为正才能粗估清空时间=积压量/净完成率。
毒消息进入有界重试和死信路径,保存业务身份、原因和版本;人工重放仍要去重,不能“重新发就当新操作”。扩消费者受分区数量、倾斜和下游容量约束。
事务、Outbox 与分布式锁
XA/2PC 通过准备与提交等协调受支持资源,可能阻塞并需要恢复;TCC 通过预留、确认、取消实现业务语义,需防重复与乱序;Saga 用一系列业务步骤和补偿,补偿可失败,不是数据时间倒流。
Outbox 把业务变更与待发布事件放同一本地事务,发布器/CDC 再发送;发后记完成之间仍可能重复,所以消费者仍需幂等。锁的唯一 token 用来避免删掉别人的锁,不等于 Fencing。租约过期后旧持有者仍可执行,资源端检查递增 fencing token 才能拒绝陈旧写。
超时或消息丢失时直接按此查
超时保存业务 ID、每次尝试及各跳预算,先查结果是否已提交,再决定重试;缓存故障先保护回源容量,消息丢失沿确认、存储、副本、消费和最终状态找证据。Trace 缺 Span 可能是采样或传播缺失,不证明该服务没调用。止损后验证真实完成、重复效果、等待和下游容量,而不是只让错误率或 lag 数字下降。
常见问题排查
| 现象 | 检查顺序 | 证据与下一步 |
|---|---|---|
| 接口超时 | 固定请求身份 → 分解队列与 RPC 阶段 → 关联各跳预算和结果 | 查实际调用次数及未知结果,不先延长所有超时。 |
| 重试风暴 | 看原始请求与总尝试数 → 查多层重试 → 查退避和 deadline | 多层重试可能乘法放大;集中重试责任,限制次数及在途量。 |
| 写后缓存读旧 | 查写库与删缓存顺序 → 查并发回填 → 查版本及 TTL | 旧值回填不是仅加短 TTL 就完全解决;按业务旧值预算选择方案。 |
| 缓存故障压垮数据库 | 区分穿透、击穿、雪崩 → 查热点、过期、回源并发 | 空值、Bloom、SingleFlight、抖动和降级分别针对不同风险;回源仍需限额。 |
| 消息找不到 | 查生产确认 → 查持久化/副本配置 → 查消费与提交水位 | 应用“发送成功”日志不能独立证明消息耐久;按业务标识追完整链路。 |
| 消息重复扣款 | 查消息/业务唯一标识 → 查处理事务 → 查 offset/ack 与去重提交 | 确认在处理后可产生重复,处理前确认可能丢失;业务效果与去重记录共同提交。 |
| Lag 持续上涨 | 对照生产与完成速率 → 查分区倾斜 → 查消费者与下游 | 增消费者受分区和下游容量约束;估算清空时间要有正的净处理速率。 |
| 锁过期仍出现双写 | 查租约、暂停及网络 → 查旧持有者执行 → 查资源侧令牌校验 | Redis token 校验解锁不等于 Fencing;续租也不是绝对执行独占保证。 |
高频问题:操作与结果判断
重试预算:次数相乘,时间不能相加到无限
假设 A、B、C 三层各最多尝试 3 次,最坏末端操作可被放大到 3³=27 次;“重试 3 次”若另算首次请求,会变成各 4 次,必须统一术语。尽量由一层负责重试,各层共享剩余 deadline。
示例总预算 1000ms:本地与返回预留 150ms、两次调用各最多 300ms、退避最多 100ms,共 850ms,另留 150ms 波动余量。这是规划示例,每次调用前重新计算剩余时间,不能每次重新获得完整 1000ms。
连接失败且确认未执行、幂等读请求可按规则重试;写请求超时属于结果未知,先查状态或使用同一幂等键。429 按接口限流契约与剩余预算处理;参数错误不重试。退避加随机抖动并设全局重试预算,避免所有客户端同步重试。
接口幂等:同一键、相同参数、相同业务结果
同步数据库写入可以将幂等记录和业务变更放在同一个本地事务。以下为 MySQL 8.0 表结构示例,response 保存可重放的非敏感结果引用或内容:
sql
CREATE TABLE request_dedup (
tenant_id BIGINT NOT NULL,
operation VARCHAR(64) NOT NULL,
idem_key VARBINARY(128) NOT NULL,
request_hash CHAR(64) NOT NULL,
response TEXT NOT NULL,
created_at TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP,
PRIMARY KEY (tenant_id, operation, idem_key)
);应用算法:事务开始 → 插入占位记录 → 执行业务写入 → 更新 response → 提交。占位记录在事务内不可对外当作成功;任一步失败则整体回滚。此同步模式只保留已提交成功结果,失败记录和长期处理中状态需要另外设计。
并发重复插入可能等待首个事务:首个提交后出现重复键,则结束当前尝试,在新事务读取已提交记录,比较 request_hash;相同返回原结果,不同返回明确冲突。首个回滚时,后续请求可能成功取得唯一键;等待超时则回滚并返回可查询/重试的未知状态,不强行执行业务。
幂等键由业务操作身份生成,重试保持不变;示例按字节比较键,避免默认不区分大小写的排序规则意外合并两个身份,应用应限制编码与长度。哈希输入应规范化,不能依赖 JSON 字段排列碰巧一致。记录有效期必须覆盖业务重复窗口,金融等不可重复操作还需要业务唯一约束,不能在清理记录后失去保护。
长任务:处理中和失败恢复需要所有权
异步任务需持久化 PENDING、SUCCEEDED、FAILED 等状态,并明确请求受理和业务完成是两回事。PENDING 返回任务 ID/查询地址;SUCCEEDED 返回持久化结果;FAILED 按失败类型决定是否允许重试。
不能仅靠“PENDING 已超过一分钟”直接让第二个执行者开工。恢复必须通过原子状态变更获得执行权,使用租约/版本校验,并让业务效果本身可去重;否则旧执行者恢复后可能与新执行者重复写。长任务跨远端操作时,本地状态表和远端效果不是一个事务,应设计远端幂等、状态查询与对账。
消息重复与丢失:确认必须在持久化结果之后
对于手动确认的至少一次消费,流程应为:开启数据库事务 → 插入 (consumer_name, event_id) 唯一去重记录 → 写业务结果 → 同一事务提交 → ack。并发重复需要等待/核对已提交记录,而不是先查不存在就各自执行。
提交后 ack 前崩溃:会重复投递,唯一记录阻止重复效果。ack 后业务提交前崩溃:可能丢业务效果,所以不能提前 ack。业务提交失败:按消息系统契约重投或进入有界重试/死信;不可无限快速重放毒消息。
Outbox 发布器在“发送成功 → 标记已发”之间也可能崩溃并重复发送,消费者仍需去重。验收注入这几个崩溃窗口,检查业务效果次数,而不是只确认队列 lag 为零。
缓存旧值和消息积压:先保护下游,再查顺序
缓存旧值路径可能是:读者查到旧数据库值 → 写者提交新值并删缓存 → 读者把旧值回填。短 TTL 只缩短旧值窗口,不消除这个竞争。先定义允许旧值多久;强要求的关键读走权威源,版本写入需与缓存更新采用原子校验,否则“先比较再写”仍有竞争。
消息积压按分区记录生产速率、有效消费速率、最老消息年龄和失败率。产速持续大于消费速率:限流/扩有用容量;单分区热点:更多消费者不一定有用;大量重试:先隔离失败原因;下游变慢:先保护下游。验收看端到端完成时间、业务结果及重复效果,不能靠丢弃消息让数字好看。
工具与参数
诊断先定位真实实例、时间窗和产品版本。下列状态读取仍有权限及输出成本;具体实现字段按对应文章和产品文档核对。
| 工具或字段 | 查阅用途 | 条件与边界 |
|---|---|---|
| Trace ID / Span | 跨服务关联阶段与调用关系 | 采样、上下文丢失和时钟差造成缺口;缺 Span 不证明没调用。 |
| 请求 ID / 幂等键 | 确认同一业务操作 | 与每次尝试的 ID 分开;租户、操作类型与有效期要明确 |
redis-cli INFO | Redis 运行、内存与复制线索 | 只连接已授权实例;不同版本字段不同,输出可能暴露拓扑 |
redis-cli SLOWLOG GET 10 | 少量服务端慢命令记录 | 不包括全部客户端排队与网络耗时,阈值和保留影响结果 |
Redis SCAN | 增量查看候选键 | 完整遍历仍有成本,游标不是稳定快照;避免默认 KEYS 全库扫描。 |
| consumer lag / committed offset | 提交进度与日志位置差 | 未必等于业务完成数;重试、过滤、事务与分区分别解释 |
| arrival / completion / in-flight | 到达、完成与在途量 | 用同窗和同范围数据计算;并发增加可能使下游更慢 |
| retry / timeout / circuit state | 失败处理与熔断状态 | 查策略生效位置,不只看配置文件;半开流量应受限 |
| TTL / lease / fencing token | 数据期限与执行陈旧性 | TTL 与租约不是业务完成证明,令牌需由资源端实际拒绝旧写 |
增量扫描语义参考 Redis SCAN 文档,使用时还需确认实际版本、数据库和遍历预算。
易错点与记忆提示
- 超时未知,幂等兜底,查询确认:适用于有明确请求身份的业务。
- 先完成业务再确认,仍要允许重复:消费确认不能代替去重。
- 副本不是备份,锁不是事务:故障范围与原子边界要分别定义。
- 补偿是业务动作,不是时间倒流:中间状态和补偿失败要可恢复。
- 一个热点不因加节点自动变散:看路由与可拆分性。
- 先净速率再估清空时间:完成速率不超过到达速率时积压不会清空。
原理与完整示例
需要原因、源码或完整实验时再阅读:
- 35 - 一次分布式接口超时的完整排查:从网关到数据库建立证据链
- 12 - 重试为什么会制造更大的故障:重试风暴与退避算法
- 17 - 数据库更新了,缓存为什么还是旧值:缓存一致性方案推导
- 18 - 缓存穿透、击穿、雪崩不是一回事:现象、证据与治理方案
- 21 - 消息为什么会丢:生产、存储和消费三个阶段逐层排查
- 22 - 消息为什么会重复:至少一次投递下的正确消费方式
- 24 - 消息积压时先扩容消费者对不对:从 Lag 定位真实瓶颈
- 30 - Redis 分布式锁真的安全吗:租约、续期与 Fencing Token
- 34 - 日志都有 Trace ID,为什么还是找不到慢在哪里
- 19 - Redis 热 Key 与大 Key 如何拖垮集群
- 02 - CAP 不是“三选二”口诀:网络分区发生时系统到底怎么选
- 03 - 数据复制后为什么会“刚写入却查不到”:一致性模型与副本延迟
- 11 - 超时应该设多少:从调用预算到全链路 Deadline
- 13 - 接口重复执行不是偶然:幂等性如何从协议落到数据层
- 14 - 限流不是简单拒绝请求:Token Bucket、Leaky Bucket 与滑动窗口
- 15 - 熔断、隔离和降级分别解决什么问题
- 20 - 消息发出后去了哪里:从 Producer 到 Consumer 的完整链路
- 23 - 消息顺序为什么如此昂贵:Partition、并发消费与业务键
- 29 - 数据库写成功但消息没发出去:Transactional Outbox 与 CDC
- 28 - TCC、Saga 与事务消息怎么选:补偿型事务的工程权衡