外观
27 - 主从延迟导致“刚写入就查不到”,该怎么解决
摘要与阅读定位
订单付款接口返回成功,刷新页面却仍显示“待付款”,可能是写入走主库、查询走副本,而副本还没执行完这笔变更。本文把接受写入的主库称为源库 P,把按复制日志维护数据的实例称为副本 R。CREATED / 0 表示待付款、版本 0,PAID / 1 表示已付款、版本 1。
理解旧读要分清四个阶段:源库提交、副本接收日志、副本应用变更、查询视图看见变更。先理解这些阶段,再选择写后读主或等待副本等方案。第 3—5 节提供可选实验,通过暂停和恢复应用线程、等待指定事务以及对比新旧快照,观察这些边界;实验输出均为预期结果。
- 前置:22 Binlog 与事务身份、18 Read View。
- 对比:分布式 03 一致性模型解释读己之写、单调读与因果承诺。
- 排障:19 锁、24 资源分诊;后续:28 备份恢复。
- 基线 MySQL 8.0.26+ / 8.4、InnoDB、经典 GTID 复制。8.0 更早命令及非经典拓扑另核验。复制拓扑由管理员预先配置;结果表为推导预期,不作为复制性能证据。
阅读入口:先解释一次旧读,不必先暂停复制
初读按本节小时间线 → 第 1 节四个阶段 → 第 2 节只读观察 → 第 6 节业务方案 → 第 7 节排障推进。第 3—5 节停启应用线程、GTID 等待和旧快照验证属于可选进阶,需要管理员准备两台独立可丢弃实例,不是在同一实例建两个库。
假设订单初始为 CREATED / 0。以下为时序推演的预期状态:
| 时刻 | 源库 P | 副本 R | 用户看到什么 |
|---|---|---|---|
| 写入前 | CREATED / 0 | CREATED / 0 | 初始状态 |
| P 提交并返回成功 | PAID / 1 | 仍可能 CREATED / 0 | 查询若走 R,可能读旧状态 |
| R 收到日志但未应用 | PAID / 1 | 业务行仍 CREATED / 0 | 收到日志不等于能读到新行 |
| R 应用提交后,新视图查询 | PAID / 1 | PAID / 1 | 新查询可看到这笔写入 |
这说明“写接口成功”和“任意读取都看见最新值”是不同承诺。先确认查询实际连接到哪里,再讨论复制进度;若连接读的是缓存,或保留旧事务视图,即使 R 已应用也可能看到旧结果。缓存诊断见缓存与数据库一致性。
1. 原理:至少分四个水位
text
源库事务提交 → Binlog 传输 → 副本接收/relay log → applier 提交
↓
新的一致性读视图可见Binlog 是源库记录事务变更的二进制日志。副本的接收线程获取日志并写入中继日志(relay log),应用线程(applier)再执行变更并提交到副本数据中。并行复制时,多个工作线程(worker)参与应用。因此,网络传输完成只说明日志已到达,不说明业务行已更新。源库持续产生变更的速度超过副本应用速度时,积压会增加;大事务、锁等待和存储瓶颈都可能让应用阶段变慢。
Read View 是一致性读用来判断哪些行版本可见的视图。RR(REPEATABLE READ,可重复读)事务已经建立的旧视图不会因副本应用新事务而自动刷新。所以要分别问:副本有没有执行这笔写入,以及当前查询使用的视图能不能看见它。
GTID(全局事务标识)用来识别事务,GTID 集记录一组事务身份,不是一个连续时间序号。并行应用时,多个事务可能处于执行中或已提交状态。复制通道是一条复制连接及其处理配置;接收与执行集合还受复制过滤、通道和故障切换影响。
半同步复制让源库等待适用副本的接收确认:副本接收事务事件并写入、刷新中继日志即可确认,不要求已经应用。源库等待超时后还可能退回异步复制,因此要观察实际运行模式和计数。AFTER_SYNC、AFTER_COMMIT 等等待点影响确认时机,但接收确认本身不能保证查询可见。Group Replication(组复制)或基于 Raft 共识算法的架构有各自的成员、应用和读取规则,不能原样套用这里的经典复制实验。
2. 观察:延迟秒数只是线索
sql
SELECT NOW(6),@@server_uuid,VERSION();
SHOW REPLICA STATUS;
DESCRIBE performance_schema.replication_connection_status;
DESCRIBE performance_schema.replication_applier_status_by_worker;
SELECT * FROM performance_schema.replication_connection_status;
SELECT * FROM performance_schema.replication_applier_status_by_worker;以上查询在副本执行。Performance Schema 是 MySQL 的运行状态与统计设施;先用 DESCRIBE 确认表字段,并确认查询权限,托管服务可能限制这些统计入口。按正确的 CHANNEL_NAME 记录接收线程、协调线程和 worker 状态、最后错误、收到与执行的 GTID 集、中继日志积压及资源和锁等待。协调线程负责组织并行应用工作;多源复制有多条通道,不能只看结果的第一行。
Seconds_Behind_Source=0 不证明每笔最新提交都已应用,NULL 也不是零;断链、事件时间、时钟和并行回放都会影响解释。心跳表通过定期写入时间等信息,观察某个心跳事务何时可见;使用它需要已知时钟误差,也不能据此证明所有独立事务都已可见。
对“这次付款能否查到”这样的请求,更直接的方法是确认副本已执行包含这笔写入的 GTID 集。这个查询前的检查称为屏障。固定 sleep 只让时间过去,不能证明目标事务已经执行。
3. 可选进阶:两个可丢弃实例,一个明确复制通道
由管理员预建源库 P、副本 R,启用 gtid_mode=ON 和 enforce_gtid_consistency,采用 ROW 格式 Binlog(按行记录变更),无本实验库/表过滤且没有人为 GTID 空事务。两实例不同 server_uuid,初始一致且应用正常。本篇不包含账号授权/复制配置,不能把既有生产通道当实验环境。
初始化和普通业务连接都要先主动结束旧事务,记录原自动提交设置;不要用 SET autocommit=1 代替旧事务收尾。以下初始化仅在 P 执行,等 DDL(表结构变更)和初始化数据已在 R 正常应用后再进入实验:
sql
CREATE DATABASE IF NOT EXISTS kb_database_lab;
USE kb_database_lab;
SET autocommit=1;
DROP TABLE IF EXISTS replica_order;
CREATE TABLE replica_order (
id BIGINT PRIMARY KEY,status VARCHAR(16) NOT NULL,version BIGINT NOT NULL
) ENGINE=InnoDB;
INSERT INTO replica_order VALUES (1,'CREATED',0);P/R 分别 SELECT,预期均 CREATED/0;复制管理会话确认追平,再由R 管理连接停止唯一通道的 SQL applier(接收线程可继续),仅教学单通道实例使用:
sql
STOP REPLICA SQL_THREAD;多通道必须明确 FOR CHANNEL 的合法名称,本模板不适用。STOP 是管理员权限的实例动作,不能靠 USE 选择数据库来隔离影响。记录原状态与恢复责任人;任一实验失败也必须恢复原 applier 状态,不永久留停。
4. 源库写入与目标 GTID:不伪造精确事务身份
P 的独立业务会话执行:
sql
USE kb_database_lab;
START TRANSACTION;
UPDATE replica_order SET status='PAID',version=version+1 WHERE id=1 AND version=0;
SELECT ROW_COUNT() AS affected_rows;预期影响 1 行。先人工确认;不为 1 则 ROLLBACK 并停止,只有恰好 1 行才执行下一块:
sql
COMMIT;
SELECT @@GLOBAL.gtid_executed AS executed_barrier;提交后 P 为 PAID/1。最后取得的是源库全局 GTID 集屏障,可能包含别的事务,并非精确刚提交的那个 GTID。它足以在本实验单源、无过滤条件下作为更强但可能过宽的等待目标;生产可能因无关通道/过滤和缺失身份永久无法满足,不能默认采用。
需要当前会话已提交 GTID,可在事务外预设 session_track_gtids=OWN_GTID,并由支持 session-state tracking(会话状态跟踪)的客户端读取提交确认中的 GTID。官方定义为本会话自上次确认以来成功提交的事务集合,不能未经驱动验证便断言永远只有一个 GTID。普通 SQL SELECT 不会因设置该变量而返回当前会话的 GTID。实现时要确认驱动的会话状态跟踪能力,并确保连接池能把提交结果关联到对应业务请求。若把 GTID 作为请求携带的令牌(Token),还需绑定源身份、租户、有效期与权限,不能直接信任客户端传入的任意大 GTID 集。
5. R 上有界等待 + 新视图读取(可选进阶)
R 业务连接先检查仍 CREATED/0。将 P 实际返回的完整屏障字符串替换下面占位文本,禁止原样执行:
sql
SET @required_gtids='<copy actual executed_barrier from P>';
SELECT WAIT_FOR_EXECUTED_GTID_SET(@required_gtids,1) AS wait_result;applier 已停、目标写未执行,预期 1(超时)。成功返回 0,其他失败报错;timeout=0 表示无限等待,不是立即返回。函数等待的是当前服务器的已执行 GTID 集,不自动选择通道、提供路由或刷新 RR 视图。实际等待还消耗连接与请求预算,不能用长等待“解决”副本过载。
屏障可先理解为“查询开始前的一项通行检查”:这台副本必须先执行完指定事务集合,才进入成功读取分支。它不是锁住所有副本,也不是把原快照更新到最新。正式函数语义见MySQL 8.4 GTID 函数说明。
现在 R 的另一个独立业务连接 R-old 先主动结束旧事务,再在恢复 applier 前建立 RR 快照:
sql
USE kb_database_lab;
SET @replica_old_autocommit=@@session.autocommit;
SET @replica_old_isolation=@@session.transaction_isolation;
SET autocommit=1;
SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ;
START TRANSACTION WITH CONSISTENT SNAPSHOT,READ ONLY;
SELECT status,version FROM replica_order WHERE id=1;预期 CREATED/0。随后 R 管理连接恢复:
sql
START REPLICA SQL_THREAD;R-old 同样先设置 @required_gtids,再做有界等待,即只等待有限时间。先执行等待并检查结果:
sql
SELECT WAIT_FOR_EXECUTED_GTID_SET(@required_gtids,5) AS wait_result;仅返回 0 才执行下一块。返回 1 或报错时,不进入成功读取分支;仍需主动结束旧事务、恢复设置并交还管理连接做收尾。
sql
SELECT status,version FROM replica_order WHERE id=1;
COMMIT;
SELECT status,version FROM replica_order WHERE id=1;预期等待 0,但事务内 SELECT 仍 CREATED/0;结束旧视图后,本连接仍为自动提交,新 SELECT 为 PAID/1。随后在无未完成事务时恢复 SET SESSION transaction_isolation=@replica_old_isolation; 与 SET autocommit=@replica_old_autocommit;。如果等待失败,也要回滚并恢复,不直接继续。五秒是教学预算,不是生产延迟保证。
生产顺序应为:选择满足源身份/过滤规则的目标副本 → 无旧事务视图时有界等待 → 检查返回值 → 在同一副本连接建立新读取视图 → 查询。代理若在等待后切到另一副本就破坏屏障;超时应明确读主/失败/接受陈旧的产品分支,不无限重试。
GTID executed 也不等于数据完整性:复制过滤/空事务/人工跳过可保留 GTID 而没有对应业务变更。实验必须核对业务行;故障提升、分裂写入和错误副本身份需另做一致性验证。
6. 工程方案:按承诺选择,不背固定粘滞秒数
读己之写指用户完成写入后,后续读取至少能看见这笔写入。选择方案前,要确定业务是否需要这个保证,以及等待超时后允许读主、失败还是接受旧值。固定时间粘主是写入后的一段时间内继续把查询路由到主库;它能降低旧读风险,却无法证明窗口结束时副本已经追平。
| 方案 | 适用承诺 | 代价与失效条件 |
|---|---|---|
| 返回写结果 | 立即显示已知写响应 | 不证明后续服务或刷新读到同样状态 |
| 写后读主 | 同主库已提交事实的新视图读 | 主库容量、旧视图、切主后的丢写/身份需处理 |
| 固定时间粘主 | 有限窗口减少陈旧风险 | 固定时长不是复制追平证明,窗口后仍可能旧读 |
| GTID 屏障 | 在合格副本上读不低于目标已应用事务 | 连接预算、过滤、切副本与旧视图边界 |
| 带业务版本比较 | 查询结果达到请求最低版本 | 删除/不存在语义、跨对象依赖和错误回退需设计 |
余额/库存写入判定应在有约束与并发协议的主库事务完成,不拿副本旧读决定可扣多少,见 16、17。读己之写屏障不自动提供所有跨事务因果依赖或线性一致性,详见 分布式 03。
7. 排障与恢复边界
按接收错误/网络 → relay 积压 → worker/协调等待 → 数据/日志 I/O → 报表争用与大事务分支检查。大事务、DDL 和热点可限制并行;增加 worker 不保证加速串行依赖。先暂停非必要负载、限制重试再评估并行和硬件,按 24、25保留同窗口证据。
跳过事务或注入空 GTID 会改变数据事实与已执行集合的含义,不能把这些动作当作正常“追平”。副本故障切换需确认候选已包含承诺写、屏蔽旧源写入并重建路由;半同步也需选择实际持有日志的候选,不能保证任意副本零丢失。经典复制副本会复制误删,不是历史备份,下一篇 28。
清理:结束 R-old 等全部事务,恢复 applier 原运行状态,在 P 删除 replica_order 并确认 R 应用清理 DDL;不在 R 绕开复制强删或重置 GTID。保存通道、等待结果与业务行证据。
全部事务结束后,初始化和普通业务连接应恢复各自记录的原自动提交设置。R-old 设置块在事务外执行,其用户变量仅属于原连接,重连后重新核对环境。仅做只读观察不需要 STOP、START 或创建教学表;若进阶实验途中失败,恢复线程状态与结束事务优先于删表清理。
参考资料
- MySQL 8.4 Reference Manual:GTID Functions、GTID Concepts、Semisynchronous Replication、Replication Connection/Applier Status、session_track_gtids。
- 适用条件:完整双实例交错、驱动 OWN_GTID 能力与切主流程应通过实例验证。
8. 名词解释
| 名词 | 本文含义 |
|---|---|
| 源库/副本 | 接受本例业务写入的实例/按复制日志维护数据的另一实例 |
| relay log | 副本收到的中继日志,存在不代表数据已经应用 |
| applier/worker | 执行并提交复制变更的应用线程/并行工作线程 |
| 复制通道 | 一条复制连接及其处理配置,多通道不能混看进度 |
| GTID 集 | 已识别事务的身份集合,不是连续时间序号 |
| 屏障 | 查询前等待指定事务集合在目标实例执行完成的检查 |
| 有界等待 | 设置有限等待预算,并明确超时后的业务分支 |
| 读己之写 | 自己完成写入后,后续读取至少满足该写的可见要求 |
| 半同步 | 源库等待适用副本的接收确认,不等于副本已应用 |
| 旧视图 | 事务先前建立的可见性视图,不随副本追平自动刷新 |