外观
32 - Raft 不只是“选举算法”:日志复制与多数派提交
摘要
多个节点保存同一份数据时,一次写入可能只到达部分节点,负责写入的节点也可能在中途故障。Raft 要解决的是:节点如何对操作的顺序达成一致,以及换了负责人之后,已经确认的操作如何不丢失。
它的基本模型是复制状态机:各节点保存操作日志,再按相同顺序执行已提交的操作。状态机是执行这些操作、维护业务状态的部分;在相同初始状态下,相同的确定性操作序列应得到相同结果。例如,日志记录 SET x=1,状态机执行后才把 x 更新为 1。这里的日志是有序操作记录,不是用于排查问题的文本日志。
Raft 通过选主确定谁组织写入,通过日志复制把操作发送给其他节点,再用提交规则确定哪些操作可以执行。因此,“多数票选 Leader”只是其中一环,还需要理解任期、日志匹配和状态机应用。
1. 三种角色与 Term
Raft 节点在三种角色之间切换:
- Follower(跟随者):接收 Leader 的日志和心跳,并按规则参与投票。
- Candidate(候选者):发起选举,请求其他投票成员支持自己。
- Leader(领导者):接收写请求、组织日志复制并推进提交进度。
Term(任期)是单调递增的逻辑编号,用于区分不同轮次的选举,不是固定长度的时间段。Follower 在选举超时后转为 Candidate,增加任期、投票给自己,再请求其他成员投票。获得全部投票成员中超过一半的支持,才成为 Leader;这个超过一半的集合称为多数派。每个节点在同一任期最多投给一个候选者,看到更高任期时必须更新自己的任期,并转为 Follower。
Leader 定期发送心跳,让 Follower 知道它仍在联系集群。心跳通常是没有新日志条目的 AppendEntries 请求;AppendEntries 是 Raft 用于追加日志和传递相关进度的远程调用。
随机选举超时降低多个 Follower 同时竞选造成平票的概率。具体超时应明显大于正常心跳和网络抖动,但没有适用于所有环境的固定值。
超时只表示一段时间没有收到有效联系,不能证明 Leader 已经宕机。网络延迟、进程停顿也可能触发选举,因此选举规则必须在误判和旧 Leader 仍运行的情况下保持安全。
2. 日志复制
每条日志包含操作内容、Index(在日志中的位置)和 Term(创建该条目的任期)。位置用于确定执行顺序,任期用于区分不同 Leader 在同一位置写下的条目。
下面以三个投票成员为例,展示当前任期的一次写入。多数派是两个节点,包含 Leader 自己;不必等所有 Follower 都确认。
图表将在阅读到此处时加载…
这张图展示的是复制与确认的主线,完整流程还要区分三个阶段:
- 追加:Leader 将请求写入自己的日志,并发送给 Follower。此时条目可能只存在于部分节点,尚不能当作成功写入。
- 提交:对于当前任期的条目,Leader 确认它已按协议持久化到多数投票成员后,可以推进
commitIndex(提交位置),表示截至该位置的日志都已提交。 - 应用:节点按日志顺序,把已提交但尚未执行的条目应用到状态机。Leader 应用该请求并得到结果后,再向客户端返回成功。Follower 通过后续
AppendEntries得知提交进度,再执行相应条目。
因此,本地追加、集群提交和业务状态更新是不同的进度。复制成功的确认也不能只表示“收到了网络数据”,持久化要求关系到节点重启后能否保留条目。
多数派规则还有一个关键限制:Leader 不能仅凭某条旧任期日志已经存在于多数节点,就直接判定它已提交。 Leader 通过复制当前任期的条目并满足多数派条件来推进提交位置;排在它之前的旧任期条目随之提交。这个限制与下一节的选举规则共同保护已提交日志,不能省略为“复制到多数节点就一定提交”。
3. 日志匹配
不同节点的日志可能暂时不同。例如,旧 Leader 追加一条日志后就失联,这条日志尚未提交,其他节点未必拥有它。新 Leader 需要把各节点的日志整理成与自己一致的序列。
AppendEntries 携带本批条目前一条日志的 Index 和 Term。Follower 先检查自己在该位置是否有相同任期的条目:不匹配就拒绝,Leader 回退尝试位置,直到找到共同前缀,再发送后续条目。遇到冲突时,Follower 删除冲突条目及其后缀,然后追加 Leader 发来的条目;被覆盖的是可能遗留的未提交日志,而不是任意删除已提交记录。
这一检查建立了日志匹配性质:如果两个日志在同一 Index 上的条目具有相同 Term,那么该条目以及它之前的日志前缀都相同。它让 Leader 可以从共同前缀继续复制,而不必每次比较整个日志。
只修复后缀还不够:如果日志落后的节点能随意当选,它就可能让其他节点向自己落后的日志看齐。因此,投票者还会检查候选者的日志是否至少与自己一样新。比较时,先比较最后一条日志的 Term,任期相同再比较最后一条日志的 Index;不能只比较日志长度。
例如,最后条目任期更高的候选者,即使日志更短,在这一比较规则下也可能更新。“日志更新”是协议定义的顺序,不是按墙上时钟比较写入时间。日志匹配、投票限制和提交规则需要一起理解,才能解释为什么后续 Leader 会包含此前已提交的日志。
4. 为什么两个 Leader 不能同时提交冲突值
网络分区是部分节点之间无法通信,但各节点可能仍在运行。以三个投票成员为例,旧 Leader 被隔离在一侧,另外两个节点在另一侧:旧 Leader 可能继续接受请求并追加本地日志,却无法取得多数派确认;另外两个节点则可能选出更高任期的 Leader,并继续提交写入。若所有分区都不足多数派,集群就不能继续提交新写入。
在固定成员集合中,两个多数派必有交集。在同一任期,交集中的节点不能投给两个不同候选者,所以不可能选出两个 Leader。跨任期时,仅靠“一任期一票”还不够,还需要日志新旧比较和当前任期提交规则,保证新 Leader 不会覆盖已经提交的条目。旧 Leader 得知更高任期后会退回 Follower;在此之前,它自认为仍是 Leader,并不代表它有资格提交新写入。
客户端请求超时也不等于写入失败:请求可能已经提交,只是响应没有到达。若客户端直接重试“余额增加 100”这样的操作,就可能执行两次。写操作需要请求 ID 等去重机制,并让重定向和重试具备幂等性,即重复提交同一业务请求不会产生额外效果。仅给请求加 ID 不够,服务端还必须识别重复请求并返回相应结果。
5. 快照与成员变更
前面的机制说明了固定成员下的基本流程。长期运行时,还要解决日志空间和成员调整两个问题。
**Snapshot(快照)**保存某个已应用位置对应的状态机状态,以及衔接后续日志所需的位置和任期信息。这样,节点不必永久保存并重放全部历史操作;恢复时可以从快照状态继续执行后续日志。落后太多的 Follower 也可能需要接收快照,而不是逐条补齐已经被压缩的日志。
成员变更会改变“多数派”的计算范围,不能简单地让各节点瞬间替换成员集合,否则旧集合的多数派与新集合的多数派可能没有交集,分别作出冲突决定。Raft 使用联合共识等过程安全过渡:在联合配置阶段,决定需要同时满足旧配置和新配置的多数派要求,再过渡到新配置。实际实现可能采用不同优化,需阅读产品协议与版本文档。
6. 容易踩的坑
- 只看本地追加是否成功:应区分追加、提交和应用,不能把本地存在条目当作业务写入已完成。
- 只数选票或日志条数:选举还要比较最后日志的任期与位置;提交也有当前任期限制。
- 增加一个偶数节点就期待多容忍一次故障:三个投票成员需要两个确认,四个需要三个,两者都只能在一个成员不可用时维持多数派。
- 将 Learner/Observer 算入多数派:这些名称通常表示不参与投票的副本,具体职责以产品为准;计算多数派应使用当前配置中的投票成员。
- 磁盘延迟高时只调选举超时:超时调整不能消除持久化瓶颈,应同时检查日志写盘和复制延迟。
- 重试时换一个请求 ID,或只生成 ID 却不去重:同一业务请求需要可识别的身份,并由服务端实现去重或业务幂等约束。
7. 总结
Raft 将选主、日志匹配、投票限制和多数派提交规则结合起来,保证已提交日志不会被后续 Leader 覆盖。 在此基础上,各节点按顺序应用已提交日志,维护一致的状态机状态;它们的复制和应用进度仍可能暂时不同。
- 选主确定写入负责人,日志新旧比较限制谁能接任。
- 本地追加不等于提交,推进提交位置必须遵守多数派和当前任期规则。
- 网络分区时旧 Leader 可能仍在运行,但提交新写入需要多数派;客户端超时重试仍要处理重复执行。
下一篇:Snowflake ID 为什么会重复:分布式唯一 ID 的设计边界。