外观
18 - MVCC 如何用历史版本减少读写等待
基线:MySQL 8.0.16+ / 8.4、InnoDB。Read View 字段解释对照 mysql-8.4.0 的 read0types.h;内部字段不是稳定 SQL API。 前置:16 事务边界、17 隔离现象、A 实验协议。
摘要
一条记录已经被其他事务更新并提交,为什么当前事务仍能读到旧值?MVCC(Multi-Version Concurrency Control,多版本并发控制)通过保留和重建历史版本,让读取按自己的可见性规则选择数据。这样,读者不必为了保持旧视图而阻止写者更新。本文先解释版本从哪里来、如何选择,再用两连接实验观察快照建立、自身写入和历史清理的边界。
阅读入口:先看到旧值,再解释它从哪里来
初读顺序是第 1 节现象 → 第 2 节历史重建 → 第 4 节两会话时间线 → 第 5 节自身写入。第 3 节内部字段是可选源码对照,第 6.1 节重复更新是可选清理实验,不是理解 MVCC 的前提。
本文用 RR 表示 REPEATABLE READ(可重复读),用 RC 表示 READ COMMITTED(读已提交)。在这两个隔离级别下,不带锁定子句的普通 SELECT 通常是一致性读:它按 Read View(读取视图)判断哪些事务写入的版本可见。这个视图也称快照,保存的是可见性规则,不是整表副本。
先记住一个直观规则:一致性读判断“视图建立时哪些修改已经提交”,同时允许看见自身修改。RR 事务通常复用第一次一致性读建立的视图;RC 每次一致性读使用新的语句快照。因此,别的事务后来提交,不会自动改变 RR 已建立的旧视图。事务 ID、活跃集合和版本边界的精确规则在第 3 节展开。
1. 现象:同一事务看旧值,另一个连接看新值
假设订单状态最初为 CREATED。RR 事务 A 普通读到它,事务 B 随后更新为 PAID 并提交;A 没有修改该行,再次普通读仍看到 CREATED,而新的自动提交连接可以看到 PAID。B 的提交已经生效,只是 A 仍按旧视图选择版本。
排查这类旧值时,要确认 A 的连接没有切换、事务没有结束,查询读的是权威数据库而非缓存,再用独立连接对照。否则,相同的表面现象可能来自不同原因。
MVCC 允许普通一致性读沿历史版本取得数据,不必用与写入冲突的记录锁来维持旧值。记录锁用于协调对记录的冲突访问;普通 SELECT 仍会取得元数据锁(MDL),保护正在使用的表定义,也可能等待磁盘读写(I/O)或其他资源。因此,减少读写等待不意味着所有读写都不会阻塞。
2. 实现:当前记录、Undo 与删除标记
InnoDB 的聚簇索引保存完整行数据,其中的记录称为聚簇记录。除业务列外,记录还包含写入事务 ID、回滚指针等隐藏信息。事务 ID 用来判断版本是否可见;回滚指针指向 Undo(回滚信息),其中保存了撤销修改所需的信息,也可用于重建旧版本。
读取时,InnoDB 先判断当前记录是否可见;若不可见,就利用 Undo 重建更旧的版本,再次判断。这个逐步追溯的路径称为版本链。因此,支持旧视图不需要为每次查询永久复制整行、整页或整表。下面的事务 ID 仅用于示意:
text
当前记录 PAID:写入事务 200
→ Undo 重建 CREATED:写入事务 150
→ 更旧版本插入、更新、删除的版本处理不同,不能把所有操作都理解成相同的旧值链。删除标记表示记录已被标记删除,其可见性也要结合视图判断;找不到可见版本时,该行对视图不存在。
二级索引是聚簇索引以外的索引,其记录未必足以完成版本可见性判断,必要时仍需访问聚簇记录。即使 EXPLAIN 显示覆盖访问——查询所需列都在索引中——也不能据此断言任何情况下都不访问聚簇页。
Undo 支持事务回滚和历史版本读取;事务恢复与持久化还涉及其他机制,不能只用版本链解释,详见21 WAL。
3. 原理:Read View 可见性判定(可选源码对照)
Read View 不需要为每一行记录“当时的值”。它记录事务 ID 的边界,以及建立视图时仍活跃的读写事务集合,再用这些信息判断某个版本的写入者是否可见。“活跃”在这里指事务尚未完成;即使它后来提交,旧视图中的判断依据也不会随之改变。
下面对照源码字段解释这些规则。低水位和高水位分别是事务 ID 的下、上边界;字段中的 up、low 与直观命名相反,应按含义理解:
| 字段 | 含义 |
|---|---|
m_creator_trx_id | 创建视图的事务的写事务 ID,用于识别自身写入 |
m_up_limit_id | 低水位,小于此值的事务版本可见 |
m_low_limit_id | 高水位,大于等于此值的事务版本不可见 |
m_ids | 创建视图时活跃的读写事务 ID 集合 |
概念判定顺序:自身写入可见;版本 ID 小于低水位可见;大于等于高水位不可见;处于两水位之间时,若在活跃集合则不可见,否则可见。只读事务不一定分配普通写事务 ID,不要把连接 ID 或 innodb_trx 中每条记录都当成这个集合。
设 creator=120,低水位=100,高水位=130,其他活跃读写事务集合包含 100、110:
| 版本 ID | 可见性 | 理由 |
|---|---|---|
| 90 | 可见 | 早于低水位 |
| 100、110 | 不可见 | 创建视图时仍活跃 |
| 105 | 可见 | 在边界内且不在活跃集合 |
| 120 | 可见 | 当前事务自身写入 |
| 130、140 | 不可见 | 不早于高水位 |
如果 110 后来提交,旧视图仍记得它创建时活跃,不会突然接纳 110。若当前行版本 140 不可见,则沿 Undo 判断旧版本,直到找到可见版本。
这张表是源码规则推演,不是从 SQL 查询取得的实际 Read View。具体实例的视图不能仅凭 CONNECTION_ID 或事务开始时间重建。
4. 验证:START TRANSACTION 不一定立即固定快照
以下初始化会清空 mvcc_demo 中的现有数据,只在专用实验库执行,并确认没有其他实验使用该表。先结束初始化连接的旧事务;若要保留该连接,在修改设置前记录原值,否则实验结束后关闭连接。
sql
CREATE DATABASE IF NOT EXISTS kb_database_lab;
USE kb_database_lab;
SET autocommit=1;
CREATE TABLE IF NOT EXISTS mvcc_demo (
id BIGINT PRIMARY KEY, state VARCHAR(16) NOT NULL, revision INT NOT NULL
) ENGINE=InnoDB;
DELETE FROM mvcc_demo;
INSERT INTO mvcc_demo VALUES (1,'CREATED',0),(2,'CREATED',0);A、B 使用独立物理连接,先结束旧事务,再各自执行下面环境准备。autocommit=1 表示没有显式事务时,每条语句自动提交;显式事务仍须用 COMMIT 或 ROLLBACK 结束。表格按行交错执行,不把两列指令粘贴到同一连接。
sql
USE kb_database_lab;
SET @mvcc_saved_autocommit=@@session.autocommit;
SET @mvcc_saved_level=@@session.transaction_isolation;
SET autocommit=1;
SELECT CONNECTION_ID();A 在事务外执行 SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ;;B 保持自动提交。A 不要预先查询实验表建立视图。以下为预期步骤,具体行为应在目标版本核验。
| 步骤 | A | B |
|---|---|---|
| 1 | START TRANSACTION;,此时还没有普通一致性读 | |
| 2 | UPDATE mvcc_demo SET state='PAID',revision=1 WHERE id=1;,自动提交 | |
| 3 | SELECT * FROM mvcc_demo WHERE id=1;,预期 PAID / 1,建立视图 | |
| 4 | UPDATE mvcc_demo SET state='SHIPPED',revision=2 WHERE id=1; | |
| 5 | 普通 SELECT,预期仍 PAID / 1 | |
| 6 | SELECT * FROM mvcc_demo WHERE id=1 FOR UPDATE;,预期 SHIPPED / 2 | |
| 7 | COMMIT; |
重置后,把 A 第一步改为 START TRANSACTION WITH CONSISTENT SNAPSHOT 并保持 RR:B 提交后 A 首次普通 SELECT 预期仍为 CREATED。该语句的隔离支持要核对目标版本,不能在 RC 中期待相同固定快照。
这条时间线的关键是视图建立点:开始事务 → B 提交 PAID → A 首次普通读建立视图 → B 提交 SHIPPED → A 继续使用旧视图。START TRANSACTION 开始了事务,但本例的普通一致性读快照直到步骤 3 才建立,所以 PAID 可见,随后提交的 SHIPPED 不可见。
第 6 步的 FOR UPDATE 是锁定读:它为后续修改读取记录并加锁,与普通一致性读采用不同规则。本例 B 已提交且没有其他冲突写入,所以预期读到 SHIPPED / 2;若存在冲突事务,锁定读可能先等待。锁定读的结果不会替换原来普通读的快照,锁的细节见19。
5. 验证:自身写入能与历史视图混合
结束上一实验的事务,将两行重置为 CREATED / 0。A 在 RR 事务中先读取两行建立视图;B 将两行都更新为 PAID / 1 并提交;A 普通读仍是两行 CREATED / 0。随后 A:
sql
UPDATE mvcc_demo SET state='CANCELLED',revision=revision+1 WHERE id=1;
SELECT id,state,revision FROM mvcc_demo ORDER BY id;
ROLLBACK;预期结果:A 看到 id=1 为 CANCELLED / 2,id=2 仍为 CREATED / 0。这里的 UPDATE 不按旧快照中的 revision=0 计算,而是在 B 已提交的 revision=1 上加 1,得到 2。后续一致性读允许看到 A 自身写入,所以第一行显示新值;A 没有修改第二行,它仍按旧视图读取。
结果因此混合了“自身修改”和“其他行的历史版本”,不一定曾作为全库某个已提交状态存在。
C 自动提交观察 A 回滚后,两个状态都应为 PAID / 1。RR 不是禁止当前事务写入,也不是保证每次读都来自一个永远不变的全库副本。
6. 历史清理:长快照,而非仅“长事务年龄”
当旧视图需要读取更新前的版本时,相关 Undo 就不能立即清理。Purge 是清理不再需要的更新历史和相关记录的后台过程;只要某些历史仍可能被旧视图使用,它就不能越过相应的保留边界。
因此,需要关注的不只是事务开始了多久,还包括它是否建立并持续持有旧视图,以及此期间有多少更新提交。历史积压、Purge 推进、单行版本链长度、Undo 占用空间和文件缩小是不同量,不能互相换算。清理推进也不等于文件立即缩小。
6.1 有界实验(可选进阶)
初始化时执行:
sql
DROP PROCEDURE IF EXISTS mvcc_bounded_updates;
DELIMITER $$
CREATE PROCEDURE mvcc_bounded_updates(IN update_count INT)
BEGIN
DECLARE step_no INT DEFAULT 0;
IF update_count IS NULL OR update_count<1 OR update_count>1000 THEN
SIGNAL SQLSTATE '45000' SET MESSAGE_TEXT='count must be 1..1000';
END IF;
WHILE step_no<update_count DO
UPDATE mvcc_demo SET revision=revision+1 WHERE id=1;
SET step_no=step_no+1;
END WHILE;
END$$
DELIMITER ;DELIMITER 是客户端用于区分语句结束位置的指令;执行该片段需使用支持它的客户端。过程限制更新次数为 1~1000,避免无界循环。
过程在没有外层事务、autocommit=1 的 B 中调用,每条 UPDATE 单独提交。A 在 RR 下先 START TRANSACTION 并普通 SELECT 建立旧视图;独立观察连接 C 保存 InnoDB 状态;B 执行 CALL mvcc_bounded_updates(500);;C 再采样;A 普通读预期仍看到旧 revision。A COMMIT 后,C 在有限观察期内重复采样,观察清理是否推进。C 若修改连接设置,也需先记录原值。
sql
SHOW ENGINE INNODB STATUS;
SELECT trx_id,trx_started,trx_state,trx_mysql_thread_id,
trx_rows_modified,trx_query
FROM information_schema.innodb_trx ORDER BY trx_started;观察 History list length(历史列表长度,用于观察等待清理的更新历史)、Purge 进度与事务信息。查询需要 PROCESS 等相应权限,字段与展示格式按版本核验。预期观察的是旧视图存续和结束前后的清理变化,不保证小样本产生显著空间或延迟变化。
结束事务并重置数据后,在不保持 A 旧视图的条件下重复同量更新,作为对照。如果提交 A 后积压下降,这支持 A 的视图影响了清理,但还需结合其他旧视图、写入速度和 Purge 处理能力解释。仅看到长事务记录,不能确认它持有最老有效视图;连接状态为 Sleep 只表示当前没有执行语句,也不代表没有未结束事务或快照。
7. 排障与工程取舍
- 明确旧值来自事务视图、缓存、副本还是应用对象;缓存对照见缓存一致性。
- 对齐事务、连接、隔离、第一次一致性读和自身写入。
- 连续采样历史积压、Purge、写入量和磁盘,不从单次文件大小断定泄漏。
- 找到长期读取的业务,如流式导出、忘记结束事务、跨网络持有连接。
- 先缩短事务或采用分批读取;若必须固定快照,明确版本保留与一致性成本。
- 终止事务前确认写入量与回滚代价,不能假定 KILL 立即释放全部资源。
一致性导出与实时列表需求不同;08 分页中的固定主键上界只能约束部分新增范围,不能独立冻结更新与删除。Oracle 的 SCN / Undo / ORA-01555 需按其版本专门核验,不用 InnoDB 的 Purge 保留机制直接推断。
8. 总结与导航
MVCC 用可见性规则与历史重建减少读写互斥,代价由快照存续和持续写入共同决定。
- 后续:19 锁定读、范围锁与 MDL。
- 取证:24 性能瓶颈、26 诊断命令。
- 源码依据:MySQL 官方仓库 mysql-8.4.0,storage/innobase/include/read0types.h 的 ReadView::changes_visible;行为依据:Reference Manual 的 Consistent Nonlocking Reads。内部字段不属于稳定 SQL API,实验应记录目标版本。
固定源码:ReadView::changes_visible、二级索引可见性检查。行为依据:MySQL 8.4 一致性非锁定读。字段命名与读写事务集合属于该版本实现,不能变成跨产品通用 API。
9. 实验退出与名词解释
先让 A、B 及可选 C 结束事务;观察者也不要长期保留无用快照。各原连接在无未完成事务时恢复 SET SESSION transaction_isolation=@mvcc_saved_level; 与 SET autocommit=@mvcc_saved_autocommit;。只恢复本连接保存的变量,重连后重新准备,不复用丢失的用户变量。
所有参与者退出后,若不再需要样本,可删除 mvcc_bounded_updates 过程和 mvcc_demo 表。没有执行可选实验也不影响主线验收;不要为了清理历史版本主动删除 Undo 文件或修改全局清理参数。
| 名词 | 本文含义 |
|---|---|
| MVCC | 多版本并发控制,用版本可见性协调并发读取 |
| Undo | 回滚信息,也可用于重建读取所需的旧版本 |
| Read View | 一致性读判断哪些事务版本可见的视图,不是整表副本 |
| 版本链 | 从当前记录沿回滚信息重建历史记录的路径 |
| 活跃事务集合 | 视图建立时尚未完成的相关读写事务身份集合 |
| Purge | 清理不再被需要的更新历史和相关记录的后台过程 |
| 历史积压 | 等待清理的更新历史指标,不等于 Undo 文件字节数 |