外观
数据库进阶手册:存储、索引、事务、优化与运维
快速查阅:本专题速记手册,包含知识点、排查顺序与工具参数。
从慢 SQL、锁等待、数据错乱与连接耗尽等真实问题出发,建立从 SQL 到存储、从单机到分布式的数据库知识体系。
主线:现象 → 原理 → 实现 → 验证 → 排障 → 工程取舍。先用小例子建立基础,复杂实验按需要进入。
建议学习路径
文件编号用于定位,不要求机械顺序阅读。01 与 A 先读基础入口,第一次只需一连接、小数据和明确预期;多会话、源码、压测与故障演练在相应阶段按需进入,不要求开篇掌握全部实验协议。
- 入口与验证:01 → A 数据库实验与证据验证方法。
- 语义与建模:03 → 10 → 05 → 06 → 07 → 04 的事实与范式部分;主键物理成本在索引阶段回看。
- 存储与索引:02 → 11 → 12 → 14 → 13 → 08 → 15。
- 事务与并发:16 → 17 → 18 → 19 → 20 → 09。
- 恢复与运维:21 → 22 → 27 → 28;26 作为随读工具。连接问题先 23,实例资源问题先 24,分类后进入 25,不把这三篇排成互为前置的循环。
- 工程取舍:回读 04 的并发维护与异步汇总 → 29 → 30,基于事务、性能和恢复证据讨论冗余、分片与选型。
| 阶段 | 应能独立完成的任务 |
|---|---|
| 入口与语义 | 对齐调用耗时边界,识别 NULL、连接基数与聚合口径 |
| 存储与索引 | 用访问路径与运行证据验证索引收益和写入代价 |
| 事务与并发 | 用独立会话复现异常、解释可见性和锁、验证整体回滚与重试 |
| 恢复与运维 | 区分日志恢复、副本可见与灾难恢复,保留排障证据 |
| 工程取舍 | 明确跨资源一致性、迁移和产品能力的成本与验收条件 |
从问题直接进入
| 当前问题 | 起点与后续 | 为什么这样导航 |
|---|---|---|
| 查询结果多行、漏行或金额重复 | 05 JOIN → 06 条件位置 → 07 聚合,可空值回 10 | 先证明粒度和语义,不先改索引掩盖错误 |
| 有索引仍慢、深页或报表临时空间增长 | 14 计划 → 13 估算与成本,再分支 08 / 15 | 不用一个计划标签解释所有工作量与介质 |
| 连接获取超时或 CPU、I/O 异常 | 23 连接 / 24 分诊 → 25 闭环,命令查 26 | 先界定等待层与同窗口证据,再决定改动 |
| 等锁、死锁或提交断线 | 19 锁 → 20 失败边界,业务身份回 16 | 区分语句失败、事务撤销和未知结果,不盲目重试 |
| 写入后读到旧值 | 18 视图 / 27 副本 | 先确认连接、事务视图与读取位置,副本已应用不刷新旧视图 |
| 误删已提交或文件丢失 | 22 日志边界 → 28 恢复,局部订正查 09 | 本机崩溃恢复、回滚与历史恢复不是同一种能力 |
| 想加冗余、分片或换数据库 | 04 冗余维护 → 29 分片 → 30 选型 | 先说清写入、查询和恢复责任,再比较读取收益 |
文章职责与跨专题边界
- 11 讲索引结构,12 讲联合键如何服务查询,13 讲估算与成本选择,14 讲计划取证;它们是结构、设计、选择与验证四个问题,不因都提索引就互相替代。
- 16 定义业务事务完成,17 定义并发现象,18 解释普通读版本,19 解释锁对象,20 解释失败清理与重试;理解隔离不等于已经实现业务约束。
- 21 讲本机页与事务恢复,22 讲日志协调及传播边界,27 讲副本读取,28 讲独立恢复资产;副本不是历史备份,Undo 不是永久回收站。
- 23 讲借用与归还,24 讲实例级分类,25 讲具体问题闭环,26 提供按需只读命令;命令列表不是诊断结论,累计耗时也不是 CPU 排名。
- Spring 声明式事务与传播行为解释连接绑定和新旧事务组合;框架注解不代替数据库约束,命令式与响应式边界须分开。
- Java 线程池积压解释应用队列与连接池放大,Java 死锁解释跨层等待;数据库检测器并不掌握 JVM 中全部资源。
- 分布式一致性、Outbox 与 CDC、2PC 与 XA与补偿事务分别展开副本承诺、外部发布和跨资源完成;只有存在解释、应用或对比理由时才建立关联。
正文中的前置、后续和概念链接用于完成上述具体任务;知识图谱中的 prerequisite、next、explains、applies、contrasts、troubleshooting 分别记录前置、后续、解释、应用、对比和排障理由,不只因出现相同关键词就关联。概念自动链接跳过标题、代码、已有链接和当前文章自身,并限制同一目标重复插入;它补充导航,不代表新加入的事实已核验。
数据库与 SQL 基础
| 编号 | 主题 | 核心价值 |
|---|---|---|
| 01 | 一条 SQL 从客户端发送到返回结果,数据库经历了什么 | 从查询基础与五行结果进入完整链路,区分客户端计时、服务器执行与可选进阶 |
| 02 | 数据库为什么不能直接把数据写进普通文件 | 区分页分配、缓存与物理 I/O,验证逻辑字节、删除复用和 WAL 耐久性边界 |
| 03 | 表该怎么设计:主键、数据类型与字段约束的真实代价 | 用独立约束反例验证租户身份、精度、字符比较、时区与 DDL 风险 |
| 04 | 数据库范式不是教条:冗余字段到底该不该加 | 先分当前与历史事实,再看派生汇总维护;区分 CQRS 与数据库读写分离 |
| 05 | JOIN 为什么会把数据查重:从关系代数理解多表查询 | 用六行反例识别不同放大倍数,预聚合对齐粒度并区分缺记录与未知金额 |
| 06 | WHERE、HAVING 和 ON 放错位置,结果为什么会变 | 对照丢商品与误算月外明细,区分过滤对象、逻辑阶段和等价下推 |
| 07 | GROUP BY 为什么经常算错:聚合、去重与窗口函数 | 验证人数口径、整行最新、并列排名、ROWS/RANGE 与补齐日期后的日窗口 |
| 08 | 分页越往后越慢:LIMIT 深分页的原理与改写 | 验证 OFFSET/Keyset、并发排序键变化与延迟关联,区分键上界、固定成员和快照 |
| 09 | 一条 UPDATE 为什么误伤全表:安全修改数据的方法 | 固定目标、锁内保存原值、提交前断言与版本保护撤销;明确删除恢复边界 |
| 10 | SQL 中的 NULL 为什么不等于“空” | 对照 NOT IN 空集合与可空外值,验证 CHECK、唯一键、分组与 JDBC 缺失语义 |
索引与执行计划
| 编号 | 主题 | 核心价值 |
|---|---|---|
| 11 | B+ Tree 索引为什么适合数据库,而不是普通二叉树 | 从页容量估算到点查、叶子扫描、回表与覆盖,验证读写工作量 |
| 12 | 联合索引怎么设计:最左匹配不是背口诀 | 分开验证范围、ICP、排序和覆盖,识别 Skip Scan 与索引删除边界 |
| 13 | 明明有索引,数据库为什么选择全表扫描 | 用倾斜相关数据区分访问资格、估算偏差与真实成本,验证统计和类型边界 |
| 14 | EXPLAIN 到底怎么看:从执行计划找到真正的慢点 | 实验验证 MySQL 行数、loops、包含子树的耗时及参数回归;标记跨产品统计边界 |
| 15 | ORDER BY 和 GROUP BY 为什么会突然打满磁盘 | 区分 filesort、TempTable/MEMORY、mmap 与磁盘临时表,按语句和介质验证资源 |
事务、锁与恢复
| 编号 | 主题 | 核心价值 |
|---|---|---|
| 16 | 转账业务怎样保证不多钱也不少钱:ACID 的工程含义 | 两账户回滚起步,再看完整过程、身份仲裁与未知结果 |
| 17 | 隔离级别解决了什么,又没有解决什么 | 复现五类并发异常并验证共同冲突点 |
| 18 | MVCC 如何用历史版本减少读写等待 | 先看版本时间线,再推演 Read View;清理实验为可选进阶 |
| 19 | 一条 SELECT 为什么会锁住别人 | 对照唯一、范围、MDL,联接等待者与持有者 |
| 20 | 死锁不是“数据库卡死”:如何复现、读图和修复 | 还原等待环,区分回滚范围并实现有界新事务重试 |
| 21 | 数据库宕机后为什么还能恢复:Redo、Undo 与 WAL | 两账户提交与回滚起步,再讲恢复进度和页保护;崩溃验证为可选进阶 |
| 22 | Binlog、Redo Log、Undo Log 到底有什么区别 | 按恢复、撤销和传播区分职责;先看业务行,再审查完整日志边界 |
性能与运维
| 编号 | 主题 | 核心价值 |
|---|---|---|
| 23 | 数据库连接突然耗尽:从连接池排到慢 SQL | 两连接池状态推演起步,区分获取、持有与执行;核对泄漏提示和全局预算 |
| 24 | CPU 100% 但磁盘不忙:数据库性能瓶颈怎么判断 | 先定位等待层,再看同窗口资源与摘要增量;计时缺口不能当零耗时 |
| 25 | 慢 SQL 的完整排查流程:从监控告警到执行计划 | 小查询起步,以证据验证单一改动;锁等待为可选进阶,明确收尾与灰度停止 |
| 26 | DBA 常用命令实战:会查会停,更要知道风险 | 按当前问题选择只读分支,区分两种 ID、累计热点与窗口贡献,最后评估处置 |
| 27 | 主从延迟导致“刚写入就查不到”,该怎么解决 | 小时间线解释旧读;双实例验证接收、应用、GTID 等待与旧快照为可选进阶 |
| 28 | 备份成功不等于能恢复:数据库恢复演练指南 | 先明确恢复前后的账户与回执,再设计隔离 PITR、失败停止及 RPO/RTO 验收 |
分布式数据库
| 编号 | 主题 | 核心价值 |
|---|---|---|
| 29 | 分库分表之后,数据库问题为什么更多了 | 四行路由解释前 K 归并与有效数量,再看全局约束、版本衔接和迁移切写 |
| 30 | TiDB、OceanBase、GaussDB 与 Oracle/MySQL 怎么选 | 先列交易、读取与分析门槛,再用小业务验收比较兼容和成本;未验证不当通过 |
阅读约定
A 数据库实验与证据验证方法统一隔离库、会话交错、断言和清理;教学预期不等于本地实测。
示例主要参照 MySQL 8.0 与 MySQL 8.4 LTS、InnoDB;8.0 的小版本下限和 8.4 命令差异以各篇基线为准,不把所有 8.x 当作同一能力集合。
Oracle、TiDB、OceanBase、GaussDB 的行为与命令按文章声明的产品形态及版本讨论;无法确认统一标注「待核验」,文档核验与实例实测分别记录。
SQL 示例优先保持最小可运行,并同时给出反例、正例和验证方法。
性能结论必须结合数据规模、分布、执行计划、硬件和并发负载,不提供脱离场景的“万能参数”。
生产诊断优先使用只读命令;可能阻塞、终止会话或改变数据的操作会单独提示风险。
验证与适用边界
- 示例中的推导预期、合成样本与实例实测分别标注;前两者不作为性能、故障恢复或产品能力的证明。
- 按 A 数据库实验与证据验证方法记录版本、实例身份、实际命令、完整结果与前提。先验证单连接语义,再进入多会话事务、日志、复制和恢复;故障实验只使用已授权的独立可丢弃实例。
- 驱动、连接池、Spring、ORM、云服务与其他数据库的能力按部署版本核验。进程崩溃不等于断电或介质故障,RPO/RTO 必须有故障范围和业务验收。
- 产品兼容性、迁移工具、授权、部署权限与报价应使用目标版本和形态的证据;未确认的能力标注「待核验」,不能以产品名推断。