外观
21 - 数据库宕机后为什么还能恢复:Redo、Undo 与 WAL
摘要与阅读定位
转账已经提交,数据库却可能还没把余额所在的数据页写回文件。此时宕机,为什么重启后仍能恢复正确余额?关键是把“提交所需的日志持久化”和“数据页写回”分开:日志保存恢复依据,数据页可以稍后刷新。恢复时既要重建页状态,也要撤销未提交事务的影响。
- 前置:02 页与缓冲、16 事务完成边界;历史读取:18 MVCC。
- 后续:22 三类日志协调 → 28 备份与恢复演练。
- 基线 MySQL 8.0.18+ / 8.4、InnoDB,Redo 容量及文件组织在 8.0.30 前后不同。按 A留证;重启耗时与刷盘次数应按具体故障和环境测量。
阅读入口:先分清内存、数据文件和恢复日志
初读按第 1 节提交与刷页 → 第 2 节重做与撤销 → 第 3 节恢复进度 → 第 4 节页保护 → 第 6 节故障分类推进。第 5 节异常终止实例是可选进阶,不是理解日志的前提,也不要在自己的日常数据库上尝试。
数据库以页为单位组织和读写数据,缓冲池是这些页在内存中的缓存。修改通常先发生在缓冲池中;修改后尚未写回数据文件的页叫脏页,将它写回的过程叫刷页。
**Redo(重做日志)**保存重建页修改所需的信息,**Undo(撤销日志)**保存撤销修改和重建旧版本所需的信息。**WAL(Write-Ahead Logging,预写日志)**规定:对应数据页写回文件前,必要的修改日志必须先满足持久化要求。这样即使崩溃时数据文件只保存了部分修改,数据库仍有恢复依据。“日志先行”约束的是持久化顺序,不要求每次写入都单独同步一次磁盘。
以两个账户各 100 元、转账 30 元为例:业务提交后应是 70 / 130;崩溃时文件中的某些页却可能仍是旧内容。恢复要把应保留的修改重新建立起来,同时撤销未提交修改。若误删已经提交,恢复机制反而会保留这个已提交事实,找回误删需要28 的历史恢复。
1. 现象:提交已确认,数据页仍可能是旧版本
一次事务可能修改分散在不同位置的多个数据页。如果每次提交都等待这些页写完,提交成本就会随修改页数增加。InnoDB 通过日志和事务状态保存恢复依据,允许数据页稍后刷新。这里有两个不同的约束:
- WAL 刷页顺序:某页修改对应的恢复日志先满足持久化约束,才能把该修改刷入数据文件。
- 提交耐久性:提交确认所依赖的日志达到当前配置要求;不等于涉及的全部页已经写盘。
日志进入内存缓冲区、写入操作系统、同步至可靠存储是不同阶段,前一个阶段完成不代表后一个阶段也完成。innodb_flush_log_at_trx_commit=1 要求提交时写入并刷新 Redo;组提交让多个事务共享部分日志同步工作,因此不必每笔事务都独占一次同步。值 0、2 放宽提交时的持久化要求,日志刷新受周期和调度影响,不能承诺“最多丢一秒”。Binlog 是用于复制与历史恢复的二进制日志;它与副本还有各自的持久化阶段,见 22、27。
1.1 低风险入口:先观察事务结果,不制造崩溃
仅在独立实验库执行,先主动结束旧事务。这个例子只验证普通提交与回滚的业务结果,不证明 Redo 已刷盘、页未刷新或断电后能恢复。建表在事务外完成,初始化使用本篇独立表。
sql
CREATE DATABASE IF NOT EXISTS kb_database_lab;
USE kb_database_lab;
SET @wal_saved_autocommit=@@session.autocommit;
SET autocommit=1;
CREATE TABLE IF NOT EXISTS wal_basic_account (
id BIGINT PRIMARY KEY,
balance DECIMAL(18,2) NOT NULL CHECK (balance>=0)
) ENGINE=InnoDB;
DELETE FROM wal_basic_account;
INSERT INTO wal_basic_account VALUES (1,100.00),(2,100.00);
START TRANSACTION;
UPDATE wal_basic_account SET balance=balance-30.00 WHERE id=1;
UPDATE wal_basic_account SET balance=balance+30.00 WHERE id=2;
COMMIT;
SELECT id,balance FROM wal_basic_account ORDER BY id;预期输出:账户 1、2 的余额分别为 70 / 130。确认前半段没有错误后,再演示一笔最终回滚的修改:
sql
START TRANSACTION;
UPDATE wal_basic_account SET balance=balance-20.00 WHERE id=1;
UPDATE wal_basic_account SET balance=balance+20.00 WHERE id=2;
SELECT id,balance FROM wal_basic_account ORDER BY id;
ROLLBACK;
SELECT id,balance FROM wal_basic_account ORDER BY id;预期输出:本连接在事务内读到 50 / 150,回滚后读到 70 / 130。任一语句失败,主动回滚并停止,不继续提交。本例固定已知账户,没有并发访问,也没有防止同一请求重复执行的机制,不能作为生产转账实现,完整约束见16。
事务内的本连接可以读到自己尚未提交的修改。上面的事务内查询位于两条更新之后;若在扣款后、入账前查询,余额会暂时是 50 / 130,总额为 180。这是转账执行到一半的中间状态。两账户总额为 200 的业务约束,应在完整转账提交后或回滚完成后校验,不能要求事务内每条语句执行后都满足;第 7 节的恢复验收也采用这一完成边界。
先理解“保留已提交、撤销未提交”,再读下面恢复机制。执行成功的 SELECT 只能证明当时可读,不能证明底层持久化。结束事务后,可恢复 SET autocommit=@wal_saved_autocommit;,且只在保存变量的原连接执行。
2. 原理:Redo 描述页修改,不是成功事务清单
Redo 记录的是页修改及恢复所需的内部信息,不是把成功执行的业务 SQL 再存一遍。它描述物理或物理逻辑层面的修改,也可能包含最终未提交事务的修改。因此,“日志里有这次修改”不能单独证明事务已经提交。
InnoDB 在内部同步和 **mini-transaction(微事务)**等机制保护下修改页并生成 Redo。微事务用于协调内部页操作,不等同于应用的 START TRANSACTION 到 COMMIT。页还记录相应的 LSN(Log Sequence Number,日志序列号),用于判断页与日志的应用进度。这些操作需要内部保护,不能任意先改内存页,再无保护地补日志。
为什么重做之后还需要撤销?因为重建出来的页状态可能含有未提交修改,必须结合事务状态决定哪些影响应保留、哪些应撤销。Undo 提供撤销依据,也用于构造一致性读需要的旧版本,见18 MVCC。Undo 的存储修改本身同样需要恢复保护;它不是用户可以编辑的反向 SQL 文件。
理解恢复时,可以沿着“重建恢复所需的页与事务状态 → 判定事务结果 → 撤销不应保留的影响”这条主线。它是概念顺序,不是对全部内部执行阶段的逐步描述。某些回滚会继续在后台执行,因此实例开始接受连接时,长事务的回滚未必已经结束。
| 组件 | 必要作用 | 不保证什么 |
|---|---|---|
| Redo | 重建页修改和恢复所需内部状态 | 任意历史时间点、跨独立资源原子性 |
| Undo | 回滚未提交修改、构造一致性读旧版本 | 提交后长期可取回任意误删 |
| 事务提交状态 | 区分应保留和应撤销的事务 | 客户端收到回复、业务外部副作用一致 |
| 页 LSN | 判断页与日志应用进度 | 每个业务事务都有可直接查询的同类 LSN Token |
进阶阅读可以对照经典恢复算法 ARIES:它包含 analysis(分析)、redo(重做)、undo(撤销),其中 repeating history 指重建包含未提交修改在内的历史状态。但不能据此断言 InnoDB 完全采用同样的阶段和数据结构。
还要区分普通未提交事务与内部 XA 协调中的 **Prepare(已准备)**状态。后者表示引擎已准备好,最终结果仍需结合 Binlog 判定,不能把所有“没有普通提交标记”的事务立即回滚。内部 XA 是引擎与 Binlog 协调事务结果的机制,详见 22。
3. Checkpoint:日志复用与恢复工作量,不是清空所有脏页
text
checkpoint LSN ────── 已写入/已刷新日志进度 ────── current LSN
可复用进度受旧脏页约束;各位置必须分开记录Redo 空间需要复用,但数据页尚未保存的修改仍可能依赖旧日志,不能直接覆盖这些恢复依据。**Checkpoint(检查点)**记录与页刷新相关的恢复起点和日志可复用进度。**fuzzy checkpoint(模糊检查点)**允许仍有脏页存在,不要求在某一瞬间把全部脏页刷净。
上图中的 current LSN 表示当前日志进度;日志已写入和已刷新至可靠存储的进度应分别观察。若最旧脏页迟迟不能刷新,检查点推进就会受限。写入继续时,current LSN 与 checkpoint LSN 的距离增大,可用 Redo 空间减少,前台写入可能等待刷页或日志空间。
增大容量能为突发写入提供更多缓冲空间,但若写入长期超过存储刷新能力,空间最终仍会吃紧。恢复时长还受受影响页数、读取与日志处理、长事务回滚及硬件影响,不能按“日志 GB 数”线性预测 RTO(Recovery Time Objective,恢复时间目标)。
sql
SELECT VERSION();
SHOW VARIABLES WHERE Variable_name IN (
'innodb_flush_log_at_trx_commit','innodb_flush_log_at_timeout',
'innodb_redo_log_capacity','innodb_log_file_size','innodb_log_files_in_group',
'innodb_doublewrite','sync_binlog'
);
SHOW GLOBAL STATUS WHERE Variable_name IN (
'Innodb_redo_log_current_lsn','Innodb_redo_log_checkpoint_lsn',
'Innodb_redo_log_flushed_to_disk_lsn','Innodb_redo_log_logical_size',
'Innodb_redo_log_physical_size','Innodb_os_log_written',
'Innodb_buffer_pool_pages_dirty'
);记录查询时的小版本和实际返回字段;不存在的字段不能当作零。8.0.30 起 Redo 容量管理引入 innodb_redo_log_capacity 等新机制,旧参数和文件操作手册不能直接套用到 8.4。Innodb_os_log_written 是累计写入量,分析某个观察窗口时应比较前后增量;脏页数是查询时的瞬时量;LSN 差距反映进度,不等于“还要重放多少笔成功交易”。性能排查见 24。
4. Doublewrite:修复部分写入页,不修复一切损坏
底层存储一次能保证完整写入的单位称为原子写单位。数据库页通常比它大,一页写到一半时宕机,可能留下新旧内容混合的 torn page(撕裂页)。Redo 的应用可能依赖基本有效的页结构,而页校验只能检测部分损坏,不能自行修复。因此,有 Redo 仍需要页保护。
Doublewrite(双写)先将页内容保存到保护区域,满足持久化顺序要求后再写入最终位置。恢复时若发现目标页不完整,可用完整的保护页作为基础,再应用日志。MySQL 8.4 的 ON / DETECT_AND_RECOVER 保存用于恢复的页内容;DETECT_ONLY 只写检测元数据,不能修复不完整页。文件组织和模式切换限制取决于版本,不能直接照搬其他版本的开关操作。
存储宣称原子写也需确认粒度、对齐、驱动与实际部署支持,不能以“SSD/云盘”标签直接关闭保护。Doublewrite 不覆盖所有介质故障、逻辑误删或勒索;独立备份仍必须存在。
5. 实现:外部确认账本 + 两会话故障样本(可选进阶)
故障注入是人为触发故障来观察恢复行为,只能在独立可丢弃实例进行。隔离 schema(数据库命名空间)不能保护同一实例上的其他业务。准备管理通道、日志与文件副本、允许停止的时间预算和恢复负责人;故障触发及持久化参数变更须由授权管理员按审核方案执行。首先记录版本、刷盘与 Binlog 配置,以及存储系统的持久化承诺。
初始化只作用于教学 crash_* 表,先结束所有事务:
sql
CREATE DATABASE IF NOT EXISTS kb_database_lab;
USE kb_database_lab;
SET autocommit=1;
DROP TABLE IF EXISTS crash_receipt;
DROP TABLE IF EXISTS crash_account;
CREATE TABLE crash_account (
id BIGINT PRIMARY KEY,balance DECIMAL(18,2) NOT NULL,
CONSTRAINT chk_crash_balance CHECK (balance>=0)
) ENGINE=InnoDB;
CREATE TABLE crash_receipt (
request_no VARBINARY(64) PRIMARY KEY,amount DECIMAL(18,2) NOT NULL
) ENGINE=InnoDB;
INSERT INTO crash_account VALUES (1,100),(2,100);A 独立会话在无未完成事务、autocommit=1 时执行已确认事务;确认 COMMIT 成功后,把 request_no、实例身份、时间和结果保存在数据库实例外的可靠证据账本,不是仅保存在即将故障的库里:
sql
START TRANSACTION;
UPDATE crash_account SET balance=balance-30 WHERE id=1;
UPDATE crash_account SET balance=balance+30 WHERE id=2;
INSERT INTO crash_receipt VALUES ('confirmed-1',30);
COMMIT;B 独立会话随后执行未提交事务,特意不 COMMIT:
sql
USE kb_database_lab;
SET autocommit=1;
START TRANSACTION;
UPDATE crash_account SET balance=balance-20 WHERE id=1;
UPDATE crash_account SET balance=balance+20 WHERE id=2;
INSERT INTO crash_receipt VALUES ('uncommitted-1',20);由管理员按已审核方法异常终止进程(非正常关闭),重新启动同一可丢弃实例并保存完整错误日志。进程崩溃不等于断电/存储故障,不能用这个测试证明所有耐久性窗口。机器故障测试需另一个受控方案,本文不提供破坏设备的命令。
sql
USE kb_database_lab;
SELECT id,balance FROM crash_account ORDER BY id;
SELECT request_no,amount FROM crash_receipt ORDER BY request_no;
SELECT SUM(balance) AS total_balance FROM crash_account;在满足耐久配置与存储前提下,预期余额 70/130、总额 200,只有 confirmed-1 记录。未提交的 uncommitted-1 不应成为已提交业务事实;若后台回滚未结束,查询可能等待,必须观察完成而非直接宣布失败。
这能验证两个事务边界,但不能证明发生了 Doublewrite 修复、某页确实未刷或具体 Redo 阶段;相关断言需要额外页/日志证据或针对性故障注入。小样本没损坏并不证明关闭保护安全。
6. 未知提交、故障分类与排障
COMMIT 已发送但回复丢失时,客户端处于 **UNKNOWN(提交结果未知)**状态:数据库可能已经提交,只是成功响应没有到达。它既不能列入“已确认账本”,也不能按“未提交必回滚”处理。恢复后应在主库用原请求身份查询结果;若需重放,请求参数必须一致,并通过幂等协议避免同一业务效果重复发生,见 16、20。本篇固定 SQL 演示不能作为自动重试实现。
| 故障 | 本机恢复可处理的范围 | 额外动作 |
|---|---|---|
| 进程异常退出、文件完整 | 正常启动重放与事务清理 | 保存错误日志与外部确认账本 |
| 页部分写入 | 取决于页保护、日志与有效副本 | 核验修复证据,不能仅看启动成功 |
| 数据文件/日志/密钥丢失 | 本机自动恢复可能不可行 | 28 备份恢复 |
| 逻辑误删已提交 | 崩溃恢复会保留这个错误事务 | 22 Binlog、28 PITR |
| 复制落后/错误提升副本 | 本机 WAL 不保证候选副本包含全部写 | 27 复制与故障切换边界 |
恢复慢时,先检查错误日志显示的阶段、日志与数据设备的等待,以及事务回滚进度,不要手工删除 Redo 来“加速”。innodb_force_recovery 是异常救援与导出工具,不是正常修复或耐久性配置;具体版本和级别的风险须由数据库管理员(DBA)专门核验。恢复后能够连接,也不等于业务验证已经完成。
7. 验收、清理与工程取舍
分别记录外部确认账本保存、故障触发、实例启动、数据可读、回滚结束和业务校验通过的时间。业务不变量是业务状态在约定边界上应满足的规则。本例要求完整转账提交后、回滚完成后,以及恢复验收时,两账户总额均为 200;恢复验收还应确认余额为 70 / 130,且只有已确认请求的记录。第 1.1 节说明了本连接可读到自己的未提交修改,扣款后、入账前的中间状态不属于这一验收边界。
实例启动完成与业务恢复完成是两个不同时间点,应分别测量,并与业务 RTO 比较。测量结果还应与无故障基线对照;无法确认的日志阶段应标为未知,不能据此推算具体 LSN 或恢复秒数。
低风险例子和故障样本是两条独立路径。故障测试前 A、B 应结束旧事务并记录原设置,再明确启用自动提交;初始化连接同样先保存原值或在准备完毕后关闭。异常退出后旧连接及其用户变量可能丢失,应重新核对连接、实例和配置,不在新连接执行旧变量恢复。正常放弃演练则主动回滚 B,再确认 A 的提交结果。低风险例子清理仅删除 wal_basic_account;不需要为了完成阅读创建 crash_* 表。
选择日志容量、耐久性和保护配置时,要明确需要承受的故障类型、写入峰值、日志同步的尾延迟和恢复目标。尾延迟指少数较慢请求的耗时;只看 **TPS(每秒事务数)**无法判断故障后的可恢复性。清理前确认恢复完成、事务结束,再在实验实例删除 crash_receipt、crash_account;外部证据按审批期限保留和管理。接下来可阅读 22,了解 Redo 与 Binlog 如何协调提交结果。
参考资料
- MySQL 8.4 Reference Manual:InnoDB Recovery、Redo Log、Doublewrite Buffer、InnoDB Startup Options and System Variables。
- 适用条件:全部故障实验、后台回滚时机与存储耐久承诺应通过实例验证。
页保护依据:MySQL 8.4 Doublewrite Buffer。DETECT_ONLY 只保存检测元数据,不提供用于修复不完整页的页内容;它不是“同样可靠但更省写入”的配置。
8. 名词解释
| 名词 | 本文含义 |
|---|---|
| WAL | 预写日志原则,数据页刷入文件前满足其修改日志的持久化约束 |
| Redo | 重做信息,用于重建恢复所需页状态,并非成功业务清单 |
| Undo | 撤销与历史重建信息,不是永久误删回收站 |
| 脏页/刷页 | 内存中已修改但未写回的页/将页写回数据文件 |
| LSN | 日志序列进度,不能当作业务请求编号或时间戳 |
| Checkpoint | 与页刷新相关的恢复起点和日志可复用进度 |
| 模糊检查点 | 不要求某一时刻所有脏页全部刷净的检查点机制 |
| fsync/组提交 | 请求文件同步/多个提交共享部分日志同步工作 |
| 撕裂页/Doublewrite | 页只写入一部分/用受保护页副本帮助恢复不完整写入 |
| Prepare | 内部协调中已准备、尚需最终判定的事务状态 |