外观
36 - 分布式系统高频面试题:用故障模型推导答案
摘要
一次写请求超时,服务端是否已经提交?缓存删除成功,下一次读取是否一定拿到新值?这些问题的难点在于:请求、数据和确认信息经过不同节点,某一步成功,并不意味着调用方能及时知道结果。
分布式系统由多个通过网络协作的节点组成。分析它时,先画出正常执行流程,再考虑网络延迟、节点失联、进程崩溃和重复请求会在哪一步打断流程。这就是故障模型:明确系统需要应对哪些故障,以及故障发生后仍要守住什么保证。
本文围绕 CAP、重试、缓存、消息和协调机制等高频问题,用“正常流程—故障窗口—证据—取舍”推导答案。每个问题都应先说清保证范围,再解释机制及其代价。
1. CAP 为什么不是任意三选二
CAP 中,C 指线性一致性:一次写入完成后,后续读取应看到该写入或更新的值,操作整体表现得像按实时先后在单份数据上执行。A 指严格可用性:到达非故障节点的请求最终都能得到符合操作语义的响应,不能靠一律拒绝请求来满足它。P 指网络分区,即部分节点之间无法正常通信。
假设两个副本之间发生分区,一侧已确认写入新值,另一侧随后收到读取请求,却无法获知这次写入。若后者仍返回旧值,就破坏线性一致性;若等待通信恢复或拒绝服务,就无法满足严格可用性。两侧都接受相互冲突的写入,也会遇到同样的协调困难。
因此,CAP 讨论的是分区期间无法同时保证 C 和 A,而不是平时随意挑选两个字母。采用多数派写入的方案中,多数派指超过半数的节点;无法取得多数派的一侧需要拒绝写入或使请求超时,从而牺牲严格可用性。多数派只是协调机制的一部分,还需配合正确的读写协议。
CP 思路优先维持一致性,AP 思路优先让分区两侧继续提供服务,并处理后续冲突。一个业务可以按操作分别选择:不能只给整个系统贴上一个标签,还要说明哪些读写在分区时允许继续。
2. 超时后能否直接重试
超时只表示调用方在期限内没有拿到结果,不表示服务端没有执行。写请求可能已经提交,只是响应丢失;直接再发一次,可能再次扣款或创建订单。
先区分读写。纯读取通常具有幂等性,即重复执行不会额外改变业务状态,但重试仍会增加负载,也不保证每次读到相同值。写操作则必须先明确如何避免重复产生业务效果。
只有操作本身幂等,或使用稳定的幂等键,并且错误可重试、剩余 Deadline 足够时,才考虑重试。Deadline 是整次请求的截止时间,每次尝试和等待都消耗同一份时间预算;不能每重试一次就重新获得完整超时时间。
重试还要使用退避,即失败后等待再尝试,并限制次数和总预算。否则,下游越慢,上游重试越多,排队反而更严重。结果未知时,若业务提供状态查询接口,可先按业务标识查询,再决定是否继续尝试。
3. 如何保证接口幂等
幂等要保护的是同一个业务意图,例如“创建这笔订单”,而不是所有参数相似的请求。客户端应为同一业务意图复用 Idempotency Key(幂等键);新的业务意图使用新的键。
服务端可以按以下流程处理:
- 校验幂等键对应的参数摘要,防止同一个键被用于不同请求。
- 用数据库唯一约束或条件更新原子占位,使并发请求中只有一个进入业务执行。原子表示判断和写入不能被另一个请求插入打断。
- 将业务结果与幂等状态放在同一个本地事务中保存,避免业务已经成功、幂等记录却没有成功。
- 重复请求读取已保存的结果;若第一次仍在处理中,则按接口约定返回处理中状态或等待,不能再执行一遍业务。
“先查有没有,再写入”不够,因为两个并发请求可能都查到不存在。真正消除竞争的是唯一约束或带条件的原子更新。
上述同事务方案适用于业务变更和幂等记录能够由同一数据库事务覆盖的情况。若还要调用外部支付等系统,本地事务不能包住外部效果,还需下游幂等、状态查询或后续协调机制。
4. 先更新数据库还是先删缓存
先说明模型:普通旁路缓存的读流程是先查缓存,未命中时读数据库并回填缓存;写流程需要同时处理数据库中的真实数据和缓存中的副本。
若先删缓存、后更新数据库,两个动作之间的读请求可能查到数据库旧值并回填缓存。随后数据库更新完成,缓存却仍是旧值。通常先提交数据库、再删缓存,可以缩小这类旧值回填窗口。
但调整顺序并不能消除所有竞态。例如,读请求已读到旧值但尚未回填,写请求此时提交数据库并删除缓存,读请求随后仍可能把旧值写回。缓存删除失败,也会使旧值继续被读取。
删除失败需要可靠重试。Outbox 是与业务变更同事务保存待处理事件的记录;CDC(变更数据捕获)从数据库变更记录中提取事件,两者可用于驱动后续缓存失效。事件发送和消费仍需处理失败、重复与延迟。
延迟双删是在首次删除后,隔一段时间再删一次,试图清除并发回填的旧值。但请求耗时和调度延迟不固定,因此它只能降低不一致概率。若业务要求强一致读取,应绕过普通旁路缓存,并确认数据库读取本身满足所需一致性,或采用更强的一致性存储方案。
5. 缓存穿透、击穿、雪崩
三者都可能把请求推向数据库,但触发方式不同,治理措施也不同:
- 穿透:大量请求查询不存在的 Key(键),缓存未命中后数据库也查不到。可缓存空结果、校验请求参数,或使用 Bloom Filter(布隆过滤器)过滤确定不存在的键。布隆过滤器可能把不存在的键判为可能存在,不能替代数据库判断;数据新增时也要维护过滤器。
- 击穿:一个热 Key 过期,许多请求同时回源。热 Key 是被频繁访问的键。SingleFlight 将同一键的并发加载合并为一次,也可用互斥刷新;逻辑过期则允许在约定范围内先返回旧值,再触发刷新,需要业务接受短暂陈旧数据。
- 雪崩:大量 Key 集中失效,或缓存集群不可用,导致回源流量骤增。可打散 TTL(存活时间)、分批预热,并限制回源流量。TTL 打散主要应对集中到期,不能解决整个缓存集群不可用。
无论使用哪种缓存措施,都要说明数据库容量保护:缓存失效时,哪些请求可以进入数据库,哪些需要限流或降级。否则只是推迟了数据库被压垮的时间。
6. 消息如何做到不丢
先把链路分成三段:生产者发送消息,Broker(消息代理节点)保存消息,消费者处理消息。可靠性要求每一段都明确“何时算成功、失败后由谁恢复”。
生产者要等待 Broker 明确认可,不能把“调用发送方法”当作消息已经可靠保存。若数据库业务提交和消息发布必须关联,可以用 Outbox 把业务变更与待发送事件同事务保存,再由发送任务投递;失败时重试。若只在发送失败后才尝试写 Outbox,进程在两步之间崩溃仍可能留下缺口。
Broker 的确认含义取决于持久化和副本配置,需要按目标故障范围选择:确认收到、写入持久存储和复制到副本并不是同一个保证。不能仅凭组件名承诺“绝不丢消息”。
消费者应在业务成功后再确认消息,或提交消费位置。若先确认、后执行业务,进程中途崩溃会跳过尚未完成的处理;若业务已提交、确认前崩溃,消息则可能被再次投递,因此消费者必须幂等。
Exactly-once 指“恰好一次”语义,但必须说明覆盖范围。消息系统内部的处理保证,不自动覆盖任意外部数据库或接口;讨论端到端业务效果时,要交代这些资源如何参与事务或去重。
7. 如何保证消息顺序
先问顺序范围:是同一订单内有序,还是所有订单全局有序?多数业务只需要前者。
在采用分区模型的消息系统中,Partition(分区)是保存有序消息序列的单元。通常按订单 ID 等业务 Key 路由到同一分区,并确保同 Key 的生产顺序和消费串行处理。仅路由到同一分区,不会自动消除应用并发造成的乱序。
数据库还可通过业务版本做条件更新,拒绝过期版本覆盖新状态;但版本检查不能自动补齐缺失事件,必须定义跳号时是等待、重试还是查询最新状态。
若失败消息被移到其他重试队列,而主分区继续处理后续消息,后续事件可能先完成,从而牺牲业务顺序。严格保序需要同时约束失败恢复路径。全局顺序则通常压缩可并行处理的范围,限制吞吐,因此应先判断业务是否真的需要。
8. 分布式锁有哪些问题
分布式锁用于协调多个进程对同一资源的访问。基本实现需要唯一 owner token(持有者标识)、原子校验解锁和租约:解锁时只能删除自己持有的锁;租约限定锁的有效时间,避免进程崩溃后永久占用。
问题是租约到期,并不会让旧持有者停止执行。例如进程因 GC Pause(垃圾回收暂停)停顿,期间锁过期并被新进程取得;旧进程恢复后,仍可能继续写资源。校验解锁只能防止误删别人的锁,不能阻止这种过期写入。
严格场景需要资源端验证递增的 Fencing Token(隔离令牌)。每次取得锁获得更大的令牌,资源端记录已接受的令牌,并拒绝更旧的写入。它的前提是令牌生成机制可靠,且被保护的资源能够执行检查;仅把令牌传过去没有作用。
如果业务能用数据库唯一约束或 CAS(比较并交换,即值或版本符合预期时才更新)直接维护不变量,应优先考虑这些机制,减少锁生命周期和故障恢复的复杂性。不变量是无论如何并发都必须成立的业务规则,例如同一业务键只能创建一条记录。
9. 2PC、TCC、Saga 怎么选
跨服务或数据库操作无法由一个本地事务覆盖时,先问业务需要什么保证:是否必须一起提交,能否预留资源,是否接受中间状态,以及失败后能否补偿。
- 2PC(两阶段提交):协调者先要求各资源准备,再决定统一提交或回滚。基于 XA 接口的方案要求资源支持 XA,适合需要原子提交的短事务。参与者进入准备状态后可能持有锁,协调者故障时可能等待恢复,因此要说明阻塞代价。
- TCC(Try、Confirm、Cancel):Try 预留资源,成功后 Confirm 确认,失败时 Cancel 释放。适用于业务能设计预留语义的场景。要处理空回滚(Try 未成功执行就收到 Cancel)、悬挂(取消后迟到的 Try 又预留资源),以及重复确认和取消。
- Saga:把长流程拆成本地事务,每一步配有补偿操作。适用于可接受中间状态、能够定义补偿的业务。补偿是新的业务操作,不等于数据库回滚,也可能失败,需要幂等和持续恢复。
- Outbox:在数据库事务中保存业务变更和待发布事件,随后可靠发布。它解决本地提交与事件发布之间的缺口,不直接保证多个服务一起提交;发送和消费仍可能重复。
选型时应把代价对应到具体故障窗口,而不是只列名词。例如“要求所有资源原子提交”和“允许先完成订单、稍后补偿库存”,需要的协调方式不同。
10. Raft 如何避免脑裂写入
Raft 将操作写入日志并复制到多个节点。Leader(领导者)接收写请求,Follower(跟随者)参与复制;提交表示日志已达到协议要求,可以据此推进状态,而不只是某个节点收到请求。
脑裂是多个节点同时认为自己拥有领导权。网络分区后,旧 Leader 可能尚未发现失联,另一侧也可能选出新 Leader;但旧 Leader 不能在没有多数派的情况下提交新写入。
Term(任期)是递增的选举编号,节点发现更高任期时会放弃旧领导身份。每个节点在同一任期最多投一票,候选者还需通过日志新旧比较;多数派之间必有交集。这些规则与日志复制、提交规则共同保护已提交日志,不能简化成“只要多数派收到就总能提交”。
因此,分区期间客户端可能遇到拒绝、重定向或超时,但不会因为两个节点都自认为 Leader,就允许它们各自独立提交冲突的新日志。回答时还应区分“本地收到”“复制成功”和“提交成功”。
11. 如何排查接口偶发超时
先确定影响范围、版本和时间窗口,选择异常请求与同期正常请求作对照。Trace(链路追踪)关联一次请求经过的操作,但只有记录了各段边界,才能解释耗时。
沿同一请求拆分网关处理、连接池等待、应用排队、RPC(远程过程调用)、SQL 和响应写回。业务方法执行快,不代表请求在进入方法前没有排队;SQL 快,也不代表获取数据库连接快。
再比较 P99 与资源饱和指标。P99 表示约 99% 的请求耗时不超过该值;资源饱和表示线程、连接或队列等接近容量上限,不能只看 CPU。将指标与慢请求的时间窗口对齐,检查每次实际调用尝试,判断重试是否放大负载。
现场允许时,先保存日志、线程和连接状态,再做重启等可能丢失证据的操作;必须立即止损时,按业务风险优先恢复服务。跨机器日志还要考虑时钟偏差,不能直接相减绝对时间并把差值归因于网络。
12. 面试回答模板
text
1. 先定义术语和保证范围
2. 描述正常执行链路
3. 指出至少一个故障窗口
4. 给出机制如何处理该窗口
5. 说明仍然存在的代价和边界
6. 补充线上如何观测或验证例如回答“Redis 锁安全吗”,先说锁保护哪个资源,再说明获取、执行和释放的流程。接着推导 GC 暂停期间锁过期、新持有者进入、旧持有者恢复的过程,最后解释资源端能否使用 Fencing Token 拒绝旧写入。SET NX EX 只是获取锁的一环,不能单独回答整个安全性问题。
观测也要对应机制:重试看实际尝试次数和重复效果,消息看确认与消费状态,锁看租约过期及过期写入是否被拒绝。这样,答案中的保证才有可检查的依据。
13. 容易踩的坑
- 把组件名当结论,如“Kafka 绝不丢消息”,却不说明确认、持久化、副本和消费边界。
- 背默认参数,但说不出产品版本、配置条件和参数控制的行为。
- 只讲正常流程,不推导进程在提交前、提交后或确认前崩溃时的状态。
- 只说优点,不说明延迟、可用性、资源占用和运维成本。
- 把重试、Exactly-once、最终一致当作绝对保证。最终一致还需要说明在什么前提下、由谁持续推进,以及长期失败如何暴露和恢复。
14. 总结
高质量的分布式答案,是能在网络延迟、进程崩溃和重复执行下推导系统状态,并解释业务规则为何仍能成立。
- 所有保证都要说明边界、故障模型和版本条件。
- 超时意味着结果可能未知,应结合重试、幂等和状态查询处理。
- 面试和排障都应从执行链路、故障窗口与证据出发,再选择协调机制。
专栏主线至此完成:通信 → 服务治理 → 缓存与消息 → 一致性事务 → 协调共识 → 可观测与排障。