外观
03 - 数据复制后为什么会“刚写入却查不到”:一致性模型与副本延迟
摘要
用户刚修改资料,刷新页面却恢复旧值;订单已支付,查询接口仍显示未支付。写入成功只说明满足了写接口的确认条件,不一定说明所有副本都能读到新值。本文先解释主从复制中的旧读窗口,再区分线性一致性、最终一致性、读己之写、单调读和因果一致性,最后讨论版本校验与排障方法。
1. 场景:写接口成功,查询接口却否认了它
假设订单系统采用读写分离:写请求发送到主库,查询请求分配给只读副本。主库负责接受写入,副本通过复制保存同一份数据,以分担查询负载。
订单原本处于“待支付”状态。主库提交支付状态并返回成功,但紧接着的查询命中了尚未收到或应用这次更新的副本,页面便仍显示“待支付”。等副本应用更新后,再次刷新才显示“已支付”。这里的 PENDING 表示待支付,PAID 表示已支付。
在这个例子中,数据没有永久丢失,查询也没有读错表;两次请求看到的是同一订单在不同复制进度下的状态。要避免这种体验,系统必须定义:写成功后,哪些读取需要看到这次写入,以及副本尚未追上时怎样处理。
2. 一次异步复制发生了什么
下面用主副本 P 和从副本 R 表示一次可能的请求顺序。主副本也称主库,从副本也称从库或只读副本。
图表将在阅读到此处时加载…
异步复制不要求主库在每次写入时等待副本完成应用,因此可以减少写请求中的等待。代价是从主库提交到副本查询可见之间存在旧读窗口:主库已有新值,副本仍可能返回旧值。
复制日志记录数据变更;副本接收日志后,还要回放,也就是把变更应用到自己的数据中。图中最后一次查询能够读到 PAID,以副本已经应用更新、查询视图能够看到该更新为前提。收到日志不等于数据已经可读;数据库事务若仍使用更新前建立的快照,也可能继续看到旧值。
复制延迟不是固定常量。写入量增加可能形成日志积压,网络会影响传输,大事务、锁等待和副本回放能力则会影响应用速度。因此,固定等待几百毫秒不能证明一次具体写入已经可见。
3. 常见一致性模型
一致性模型描述系统对外承诺的读写可见性与顺序。它不只是“副本最终是否相同”,还回答“谁在什么时候能看到什么”。下面的会话指同一用户或客户端的一串相关操作,不一定等同于某条数据库连接;跨设备是否共享保证,需要系统另行定义。
3.1 强一致与线性一致性
“强一致”在不同产品中可能指不同保证,这里讨论的是线性一致性:每个操作看起来都在调用与返回之间的某个瞬间生效,所有操作能够排成一个尊重真实时间先后关系的顺序。
例如,支付状态写入已经返回成功,此后才开始的读取就不能返回更早的“待支付”,但可以返回后续合法更新的状态。与写入时间重叠的读取,则可能按操作顺序看到更新前或更新后的值。这不要求所有副本每时每刻都相同,而是要求系统不能让未追上的副本直接用旧值回答这类读取。
实现通常涉及 Leader(负责协调写入的领导节点)、共识协议(让节点对提交顺序达成一致)或同步确认。完整的读写协议还必须约束读取路径,不能只凭“有主库”或“写时等待副本”判断保证。需要法定人数时,法定人数指协议要求参与确认的节点集合;无法取得所需确认,系统可能等待或拒绝操作,响应延迟和可用性也会受到影响。
3.2 最终一致性
最终一致性允许副本暂时不同,但在停止新写入、更新能够继续传播且冲突按规则处理的条件下,副本最终收敛到相同状态。“收敛”就是各副本不再对同一数据保留不同结果。
这个定义本身没有给出以下保证:
- 多久收敛;
- 用户是否会先看到新值再看到旧值;
- 并发冲突采用什么解决规则;
- 收敛前业务是否会基于旧值做出错误决策。
因此,工程设计还要规定可接受的延迟目标、监控方式和异常处理。例如浏览计数可以允许短暂落后,但复制持续停滞仍需要告警和恢复。
3.3 Read Your Writes
**Read Your Writes(读己之写)**保证同一会话完成写入后,自己的后续读取至少能看到该写入的效果或其后续版本。它解决的是“我刚改完,为什么自己还看不到”,并不保证其他用户同时看到最新状态。
常见方案及其边界如下:
| 方案 | 怎样避免旧读 | 必要条件与代价 |
|---|---|---|
| 写后读主库 | 从接受写入的主库读取已提交数据 | 查询视图需包含该写;主库压力、故障切换后是否仍保有该写都要处理 |
| 一段时间内将用户读请求路由到主库 | 在指定窗口内避开延迟副本 | 窗口结束不代表副本已追上,固定时长只能减少风险 |
| 写响应返回日志位置,读取前等待副本追上 | 以复制进度作为读取条件 | 目标进度需对应正确的复制链路,并确认已应用;等待后应在同一副本用合适的新视图读取 |
| 会话保存最低版本,校验读取结果 | 拒绝低于已确认写入版本的结果 | 版本必须可比较,未达标时需要等待、读主库或返回明确失败 |
| 用写服务返回的数据更新页面 | 页面立即显示已知写结果 | 能改善当前显示,但不保证刷新或其他服务的后续读取满足读己之写 |
等待副本时应设定有限预算,并明确超时后的处理方式。若为了返回成功而在超时后直接接受旧值,就放弃了这次读取的保证。
3.4 Monotonic Reads
**Monotonic Reads(单调读)**保证同一会话看到的数据版本不会倒退。例如先从副本 A 读到版本 10,随后切到副本 B 时,不能又读到版本 8。
它与读己之写不同:用户没有执行写入,也可能因切换副本而遇到版本倒退。固定路由到同一副本可以减少这种情况,但仍以该副本和查询视图不倒退为前提;副本重建、切换或旧快照都需要处理。另一种方式是记录会话已经读到的最高版本,后续读取携带这个最低要求。
3.5 因果一致性
因果一致性要求有依赖关系的更新按依赖顺序可见。例如事件 A 是“创建帖子”,事件 B 是“读到帖子后发布回复”。观察者不能看到回复已经存在,却因帖子尚未复制过来而找不到它所依赖的帖子。
这里的“先发生”来自操作依赖,不只是两台机器时间戳的大小。没有因果关系的并发更新可以在不同观察者处呈现不同顺序。单个订单的最低版本可以约束该订单的读取,却不会自动携带帖子与回复这类跨对象依赖;要提供因果一致性,还需要跟踪并传播相应的依赖信息。
4. Quorum 不是万能公式
**Quorum(法定集合)**机制要求读写操作取得一定数量的副本响应。设同一固定副本集合中有 N 个副本,一次写入取得 W 个副本确认,一次读取查询 R 个副本。当 W + R > N 时,这两个集合必有交集。
例如 N = 3、W = 2、R = 2,任意两个写确认副本与两个读查询副本至少重合一个。这个交集提供了找到已确认写入的机会,却没有规定读取如何从多个响应中选择结果。若直接采用最快返回的旧值,即使查询集合包含新值,也不能得到所需保证。
要判断实际读写语义,还需要看:
- 写确认代表日志已接收、持久化,还是数据已应用;
- 副本版本如何比较,并发写如何排序或解决冲突;
- 节点故障、主节点切换和成员变更如何维持协议条件;
- 是否使用 sloppy quorum:故障时让原定副本集合之外的节点暂时代为确认;
- 是否使用 hinted handoff:暂存本应交给故障副本的更新,恢复后再转交;
- 是否执行读修复,即读取发现副本落后时把较新数据补给它,以及修复发生的时机。
这些机制会影响集合交集、更新传播和返回结果。尤其是临时代为确认的节点可能不在后续读取集合中,不能原样套用固定集合的推导。因此,不能只凭 W + R > N 宣称系统已经线性一致;具体行为必须以产品版本和完整协议实现为准。
5. 最小代码:携带最低可见版本
下面是 Java 17 可用的协议片段,展示单个订单的读己之写,不是包含数据库访问和运行入口的完整程序。两个 public 顶层类型应分别放入 VersionedOrder.java 和 SessionConsistency.java。
假设同一订单的版本非负且沿已确认的更新顺序递增,两个读取接口都返回该订单的非空结果;SessionConsistency 实例只服务于这个订单的一个会话,并由调用方串行使用。主库回退读取必须能看到会话已确认的写入,故障切换或旧快照不能破坏这个前提。
java
public record VersionedOrder(long version, String status) {}
public final class SessionConsistency {
private long minimumVersion;
public void onWriteSuccess(VersionedOrder written) {
minimumVersion = Math.max(minimumVersion, written.version());
}
public VersionedOrder read(OrderReplica replica, OrderReplica primary) {
VersionedOrder value = replica.read();
if (value.version() >= minimumVersion) {
return value;
}
// 副本未追上当前会话已确认的写,回退到主副本。
return primary.read();
}
interface OrderReplica {
VersionedOrder read();
}
}onWriteSuccess 记录已确认写入的最高版本。读取先查询副本,版本达到要求就返回,否则回退到主库。预期行为:写响应为版本 10、副本返回版本 8 时走主库;副本返回版本 10 或更高时直接返回副本结果。片段没有控制台输出。
这段代码只在写成功时提高最低版本,读取到版本 12 后不会自动更新最低要求,因此不能据此宣称实现了单调读。它也没有再次校验主库结果,读己之写依赖上述主库前提;如果实际主库可能返回更旧版本,就需要拒绝这个结果,而不能照常返回。
生产实现还要处理版本格式、订单与租户隔离、删除或不存在的结果、并发会话访问、副本不可用以及主库回退压力。客户端提交的版本要求需要校验和约束,避免任意高版本触发持续等待或回退。跨订单分别递增的版本不能混在同一个最低版本变量中;并发分叉版本也不能仅凭整数大小认定先后。
6. 反例与正例
反例是所有查询默认走从库,遇到投诉就在业务代码中 sleep(500)。副本延迟超过等待时间时仍会旧读;副本已经追上时,等待又只会增加请求耗时。
更合理的做法是按业务所需的可见性选择读取协议:
| 数据 | 建议语义 | 需要明确的问题 |
|---|---|---|
| 支付结果、权限变更 | 强一致读取或明确状态查询 | 查询路径是否包含已确认更新,是否会被旧缓存或旧视图影响 |
| 用户刚修改的资料 | Read Your Writes | 保证覆盖哪个会话,副本未追上时如何处理 |
| 推荐、浏览计数 | 通常允许最终一致 | 允许落后多久,传播停滞时如何告警与恢复 |
| 风控规则版本 | 版本化并定义生效边界 | 哪些请求使用哪个版本,何时才宣布规则生效 |
对于余额、库存等约束,查询足够新也不代表后续写入一定安全:查询与写入之间仍可能发生并发变化。检查与修改需要由事务、条件更新或相应并发协议共同保证,不能拿副本旧读结果直接决定扣减金额或数量。
7. 线上排查副本延迟
先确认旧值来自数据库副本、缓存,还是数据库事务的旧快照。只有请求确实命中了副本,才能进一步把现象归因于复制进度。
围绕同一次写入建立证据链:
- 记录主库提交时间与对应日志位置,确认写入是否真正提交。
- 记录写接口返回时间和返回版本,确认它向客户端承诺了什么。
- 记录查询实际命中的副本及查询视图,避免只看路由配置而不知道请求落点。
- 对比该副本接收、回放日志的位置:未收到时查传输,已收到但未应用时查回放。
- 检查大事务、网络延迟、回放线程瓶颈和锁等待,定位积压发生的阶段。
- 检查同一会话是否随机切换副本,以及版本要求是否在服务调用中丢失。
字节或日志位置差反映积压量,时间延迟反映等待程度,两者不能简单互相替代。跨机器比较时间还要考虑时钟偏差;追踪一次具体写入时,应结合请求标识、版本和复制位置。不同数据库的复制指标、命令及默认并行回放行为随产品版本变化,使用时必须按实际版本核对。
8. 容易踩的坑
- 把“最终一致”当成无需监控传播停滞,也不定义恢复目标。
- 把日志接收确认或同步写确认直接等同于查询可见。
- 用固定延时替代复制进度判断,或等待成功后切到另一副本读取。
- 只监控字节延迟,不结合时间延迟、回放位置和具体写入检查。
- 把页面显示写响应、读己之写、单调读和线性一致性视为同一种保证。
- 对余额、库存等约束数据使用旧读结果继续做写决策。
9. 总结
副本可以分担查询并支持故障恢复,但系统必须为每类读取明确可见性要求。
- 主库提交、副本接收、副本应用和查询可见是不同阶段,写成功后旧读可能发生在这些阶段之间。
- 线性一致性约束全局操作顺序,读己之写和单调读约束会话体验,因果一致性约束依赖关系;最终一致性只给出收敛保证。
- 需要看到已确认写入时,应携带版本或复制进度并检查读取条件,同时定义等待、回退和失败分支。
下一篇:系统时间不能完全相信:时钟漂移、逻辑时钟与事件顺序。