外观
22 - Binlog、Redo Log、Undo Log 到底有什么区别
摘要与阅读定位
同一笔修改,为什么需要三类日志?因为数据库要解决三个不同的问题:崩溃后重建数据、事务失败时撤销修改,以及把已提交的变更交给副本或用于历史恢复。Redo、Undo、Binlog 分别提供这些用途所需的信息,不能互相替代。
本文以 InnoDB 存储引擎为例。存储引擎负责数据的存储与事务处理,Redo 和 Undo 属于这一层;Binlog 属于 MySQL Server 层,用于记录可传播的变更。先理解各自职责,再看引擎与 Binlog 如何协调提交,以及日志怎样用于审查和恢复。
- 前置:21 WAL 与恢复、16 事务身份与未知结果。
- 后续:27 复制进度与读取 → 28 PITR 演练;应用:Outbox 与 CDC。
- 基线 MySQL 8.0.18+ / 8.4、InnoDB;命令命名和日志格式按小版本区分。日志位置与 GTID 必须取自真实日志,不能使用示意值替代恢复边界。
阅读入口:先问需要解决什么问题,再选择日志
第 1 节建立职责模型,第 2、3 节解释提交协调与记录格式,第 4 节用一笔提交、一笔回滚观察业务结果,第 5、6 节讨论恢复与保留。初读也可以在第 1 节之后先看第 4 节的 SQL;日志归档与解码是可选进阶,不需要先搭复制集群。
数据库以页为单位组织和读写数据,修改通常先发生在内存中的页上,稍后才写回数据文件。**Redo(重做日志)**保存重建页修改所需的信息,因此崩溃时即使数据文件尚未写入全部修改,仍可据日志恢复。Redo 也可能包含未提交修改,恢复还必须判断事务结果。
**Undo(撤销日志)**保存撤销修改和构造旧版本所需的信息。事务回滚时用它撤销影响;一致性读也可借它读取符合当前视图的历史版本,这属于 **MVCC(多版本并发控制)**机制,并不意味着所有读都读取旧值。
**Binlog(二进制日志)**按事件记录变更与上下文,供副本复制、CDC 和 PITR 使用。**CDC(变更数据捕获)**是消费数据库变更并传播到其他系统;**PITR(时间点恢复)**是从一份匹配的备份基线出发,应用后续日志直到选定的完整事务边界。基线就是恢复的起始数据状态,必须知道它对应的日志进度。
Binlog 不是应用打印的日志,也不是慢查询日志;它按事件记录可传播的变更及上下文。“日志里有修改”还要结合完整事务边界判断,不等于客户端已收到成功响应,更不等于可以直接逆向覆盖现库。
1. 现象:本机恢复正确,复制和历史恢复仍可能缺记录
本机崩溃恢复要重建页并处理未完成事务,依赖 Redo、Undo 与事务状态。历史恢复则要从备份推进到目标时刻,依赖匹配的 Binlog 链。即使当前数据文件完整,Binlog 缺失或与备份坐标不匹配,也不能据此恢复任意历史点;仅有 Binlog 而没有适用基线、表结构与执行环境,同样不能重建完整实例。备份坐标指备份对应的日志文件位置或事务集合进度。
| 日志 | 层次及典型内容 | 主要职责 | 不是 |
|---|---|---|---|
| Redo | InnoDB 页修改及恢复所需的内部信息,描述物理或物理逻辑层面的修改 | 崩溃重做,也保护未提交修改的恢复 | 业务成功清单、任意时间点回放接口 |
| Undo | InnoDB 撤销及历史重建信息 | 回滚、MVCC,随事务与视图生命周期清理 | 已提交误删的永久回收站 |
| Binlog | Server 事件、事务边界、SQL 或行变化 | 复制、CDC、基线后的 PITR | 每次 SELECT/失败请求完整审计、全量备份 |
三类日志的保留条件也不同。Redo 只有在恢复不再依赖相应旧日志后才能复用空间,这一进度受 **Checkpoint(检查点)**约束。Undo 要等活动事务和旧读取视图不再需要相应版本后才能清理。Binlog 则要满足副本、CDC 和备份恢复的需求:消费水位表示消费者已处理到哪里,尚未消费的日志仍可能需要保留。这三种“保留多少”不是同一个参数。18解释旧视图,28定义历史恢复窗口。
2. 原理:内部两阶段协调,不是跨服务业务 2PC
启用 Binlog 后,同一笔事务既影响引擎中的数据,也影响对外传播的日志。如果两者各自决定提交结果,故障可能使它们不一致:本机认为修改成功,副本却没有对应记录,或者反过来。因此需要内部协调,让恢复时能判定同一笔事务应提交还是回滚。
**Prepare(已准备)**表示引擎已准备好,最终结果仍需结合完整 Binlog 判定。它是内部状态,不是应用需要手动执行的业务步骤。
对启用 Binlog 的 InnoDB 事务,概念流程为:引擎 Prepare → Binlog 写入并按配置同步 → 引擎完成提交 → 响应客户端。组提交让多个并发事务共享部分日志同步工作;缓冲和恢复判定也使真实执行更复杂。因此不能把每个箭头视为一次 fsync(请求将文件数据同步至存储),也不能假定每笔事务独占一次同步。
| 故障时观察 | 概念恢复判定 | 必须保留的条件 |
|---|---|---|
| 尚无可恢复 Prepare/提交依据 | 未提交影响需撤销 | Redo/Undo 和文件完整 |
| 引擎已 Prepare,但没有有效完整 Binlog 提交依据 | 通常回滚该内部事务 | 不能凭文件中零散行事件推断已提交 |
| 引擎已 Prepare,Binlog 提交依据有效 | 可在恢复中完成引擎提交 | 完整事务与内部身份匹配,不仅“看到 SQL” |
| 数据库已提交,回复丢失 | 客户端处于 UNKNOWN(提交结果未知),不能仅凭回复判断数据库结果 | 按业务请求身份查询,不盲目重放 |
这是内部协调的教学模型,不适用于任意非事务引擎、所有显式 XA、关闭 Binlog 或所有耐久配置组合。恢复只在所依赖的文件和同步承诺成立时提供保证,不能宣称关闭刷盘仍有同样耐久性。跨库/数据库与 MQ 的分布式 2PC 另见 2PC 与 XA;内部协调不自动让外部消息原子发布。
sql
SELECT VERSION(),@@server_uuid;
SHOW VARIABLES WHERE Variable_name IN (
'log_bin','binlog_format','binlog_row_image','sync_binlog',
'innodb_flush_log_at_trx_commit','gtid_mode','enforce_gtid_consistency',
'binlog_expire_logs_seconds'
);
SHOW BINARY LOGS;观察前记录权限、时间、实例及日志目录;不要修改全局配置来“匹配示例”。MySQL 8.4 使用 SHOW BINARY LOG STATUS;8.0 示例常用 SHOW MASTER STATUS,不能把后者当作 8.4 通用命令。
sql
SHOW BINARY LOG STATUS;上条是 8.4 分支,8.0 使用对应版本命令。状态查询是当时实例进度,不自动与另一次逻辑备份建立一致坐标,尤其不能备份结束后另查位置冒充备份起点。
3. 格式与行镜像:能复制,不代表能反向恢复
binlog_format 决定变更的记录形式:
- STATEMENT 保存语句与必要上下文。回放需要重新执行语句,因此结果是否确定、执行环境是否匹配会影响安全性。
- ROW 保存行变化事件,并配合表映射与事务边界。表映射事件说明后续行事件属于哪张表及其结构,不能把行事件脱离上下文单独解释。
- MIXED 根据适用规则选择语句或行格式。
binlog_format 在后期 8.0/8.4 有弃用演进,默认值与支持范围应按目标小版本确认。
行镜像指行事件中保存的修改前后列内容:before image 是修改前的内容,after image 是修改后的内容。binlog_row_image 控制记录哪些列。MINIMAL 可能只保留定位及修改所需列,不保证包含完整旧行所有列,因此不能承诺任何 Binlog 都可生成完整误删恢复或逆向 UPDATE。
FULL 也不等于可靠的反向业务协议。即使掌握旧值,直接写回仍可能覆盖后来合法的修改,还要处理约束、触发器及跨表操作顺序。
DDL(数据定义语句),例如建表和修改表结构,以及事件上下文、字符集、时区、schema(数据库命名空间及结构)版本,都影响回放。日志加密还需要工具支持、权限与可用密钥链;有文件副本不代表离线工具能直接解密,应按实际版本和备份方式确认。
4. 实验:先看业务行,再可选审查日志
以下实验仅在独立、可丢弃且启用 Binlog 的实例中进行,并使用隔离库。仅隔离 schema 不能防止实例级日志配置影响其他业务。先结束旧事务,并确认具有建库、建表及日志观察所需权限;初始化与清理 DDL 本身可能进入 Binlog,必须与目标事务区分。
sql
CREATE DATABASE IF NOT EXISTS kb_database_lab;
USE kb_database_lab;
SET @log_saved_autocommit=@@session.autocommit;
SET autocommit=1;
DROP TABLE IF EXISTS log_event;
CREATE TABLE log_event (
id BIGINT PRIMARY KEY,request_no VARBINARY(64) NOT NULL,value INT NOT NULL,
UNIQUE KEY uk_log_request (request_no)
) ENGINE=InnoDB;
START TRANSACTION;
INSERT INTO log_event VALUES (1,'committed-1',10);
COMMIT;
START TRANSACTION;
INSERT INTO log_event VALUES (2,'rolled-back-1',20);
ROLLBACK;
SELECT id,request_no,value FROM log_event ORDER BY id;预期业务结果:查询只有 (1, committed-1, 10),ID 2 不存在,因为第一笔事务提交,第二笔事务回滚。
在上述条件下,完整 InnoDB 业务提交应能在 Binlog 中找到相应事件及事务结束;回滚事务不成为可应用的业务提交。但不能要求所有 SQL 都逐字出现:ROW 记录行事件,DDL 和非事务引擎也有各自规则。表里没有 ID 2,只能说明当时的业务查询结果,不能证明所有日志文件都没有任何相关信息。
若任一步报错,主动回滚、保存错误并停止,不继续后半段。这一部分使用普通事务,无需先修改 Binlog 格式或刷盘配置。
4.1 日志归档与解码(可选进阶)
由管理员安全归档对应日志、记录 SHA-256、工具版本与取得方式。下面是 Bash 模板;变量由管理员填写真实归档文件,路径和输出不得指向生产数据目录:
bash
: "${ARCHIVED_LOG:?set archived binlog path}"
: "${INSPECT_FILE:?set new inspection output path}"
test -r "$ARCHIVED_LOG" || exit 1
test ! -e "$INSPECT_FILE" || exit 1
mysqlbinlog --verify-binlog-checksum --base64-output=DECODE-ROWS -vv \
--result-file="$INSPECT_FILE" "$ARCHIVED_LOG" || exit 1解码用于人工审查表映射(table map)、行变化、GTID 或内部事务标记,以及结束事件。**GTID(全局事务标识)**用于标识事务;结束事件则要结合上下文判断完整提交,例如适用格式中的 Xid 或 COMMIT。
这份解码输出不是可执行恢复 SQL:DECODE-ROWS 抑制实际 BINLOG 语句,### 行只是注释。把此输出交给 mysql,不能据此完成行事件回放。
按“目标表映射 → ID 1 的行变化 → 这一事务的完整结束事件”阅读即可。位置、内部标记和文件名必须取自实际日志,不能用示意值确定恢复边界。审查工具失败可能留下部分输出,该文件不能作为已验证的恢复资产。
5. PITR 边界:位置包含/排除与事务完整性
PITR 要把匹配基线之后的变更应用到恢复目标。选择范围时有两层边界:事件必须完整,事务也必须完整。start-position 包含从起始位置开始的事件;stop-position 排除从停止位置开始的事件。位置是文件内的字节偏移,不是第 N 个事务,必须落在有效事件边界上。即使某个行事件(row event)完整,若在事务的 Xid / COMMIT 结束事件前任意停止,也不能得到所需的完整事务范围。
时间参数适合查找候选范围,不作为最终仲裁:mysqlbinlog 的本地时区解释、事件时间精度、同秒事务及日志/审计时序都可能造成歧义。恢复到误操作前应定位误操作整笔事务开始之前,保留之前所有完整提交;这是完整前缀恢复,会丢弃误操作之后的合法提交,后续写入合并需另行审批。
跨文件日志要保持连续、有序并用同一 mysql 连接回放;某些会话上下文可跨文件存在,分别启动多条回放连接可能改变结果。多文件的 start/stop 选项作用范围应查对应工具版本,不把单文件模板直接拼接使用。完整安全流程见 28。
单个 GTID 标识事务,GTID 集合表示一组事务身份,不表示连续的实际时间,也不等于业务请求 ID。过滤复制、空事务或人为跳过可能让 GTID 被标为已执行(executed),但相应业务内容并不存在,因此它不能取代数据校验。单库逻辑导出(dump)也可能携带实例级 GTID 集合,不能误当成该库的完整事务履历。
6. 保留、CDC 与排障
- 提交慢:检查延迟是否与 Redo/Binlog 同步及存储尾延迟相关。尾延迟指少数较慢操作的耗时,平均耗时可能掩盖它;按 24分诊,不降低耐久性掩盖问题。
- 日志增长:同时查写入峰值、大事务、消费者水位和恢复窗口,不能只靠自动过期天数设计容量。
- 复制/CDC 缺口:确认最后消费位点仍在归档链,缺失时按 27、Outbox/CDC做重建与去重。
- 误删已提交:Undo 不保证可查,走 09 原值审计或 28 PITR,拒绝无条件逆向覆盖。
- 清理前:确认全部副本、CDC、备份恢复链已不再需要文件,禁止手工删除活跃日志或 RESET 清空身份。
日志管理和 PURGE(清理二进制日志)都是有风险的运维动作,执行前必须校验各消费者水位与恢复链需求。清理教学表前结束事务,再在隔离库删除 log_event;归档与解码输出可能包含业务数据,应按敏感信息保留要求,经审批后销毁。
若临时修改自动提交,在原连接确认事务结束后恢复 SET autocommit=@log_saved_autocommit;。重连后用户变量已丢失,应重新准备,不能用未知变量恢复配置。清理表不等于清理日志文件,也不改变既有备份与副本对日志的依赖。
参考资料
- MySQL 8.4 Reference Manual:Binary Log、SHOW BINARY LOG STATUS、mysqlbinlog、InnoDB Recovery、Replication and Binary Logging Options。
- 适用条件:内部协调故障点、真实日志和格式演进应在目标版本留证。
7. 名词解释
| 名词 | 本文含义 |
|---|---|
| Binlog | Server 层二进制变更日志,供复制、CDC 与基线后恢复使用 |
| ROW/STATEMENT/MIXED | 记录行变化/语句与上下文/按适用规则选择格式 |
| 行镜像 | 行事件中保留的修改前后列内容;不总是完整旧行 |
| 表映射事件 | 将后续行事件关联到表及其结构的上下文 |
| GTID | 全局事务身份;集合进度不是业务请求 ID 或墙钟时间 |
| 日志位置 | 文件内有效事件起始字节位置,不是第几个事务 |
| Xid/COMMIT 结束事件 | 在适用格式中标识事务提交边界,要结合完整上下文 |
| 解码/回放 | 为人工展示事件/在受控目标执行可应用的变更产物 |
| PITR | 时间点恢复:从匹配基线推进到选定完整事务边界 |
| CDC | 变更数据捕获,消费数据库变更并传播到其他系统 |
| 消费水位 | 副本或连接器已处理到的进度,决定哪些日志仍需保留 |