外观
29 - 分库分表之后,数据库问题为什么更多了
摘要
假设订单表按用户拆到不同数据库实例:查询某个用户的订单只需访问一处,客服只拿订单号查询时,却可能需要访问所有分片。原因是两种查询携带的信息不同,能否定位数据也不同。
分片把一张逻辑表的行分到多个位置。它可以分担单实例的数据量和负载,但原先由一个数据库完成的查询、约束和提交,可能需要多个数据库协调。本文先区分几种拆法,再用两个分片解释路由、全局排序和聚合,最后讨论唯一性、事务、迁移与恢复。
前置阅读:12 联合索引、16 ACID、04 范式与反范式。本文是架构推导,不需要搭建分布式实验集群;数据和流程均为说明性示例,不代表某中间件实测。
阅读入口:先算数据在哪,再讨论跨片协调
先理解第 1—3 节的数据位置模型,再看第 4—5 节的查询变化。第 6—9 节在这个模型上讨论约束、事务和运维;初读时可以先掌握各节的故障原因,再深入具体协调方案。
先记住一个变化:单库查询只需知道“查什么”,分片后还要知道“去哪查、哪些片必须参与、缺一片算不算成功”。表名更多不等于资源更多;本篇始终把同实例分表与跨实例分库分开。
1. 先问:真的碰到了单机边界吗
表很大不等于必须分片。先按 24 性能瓶颈判断确认瓶颈:是索引错误、低效查询、热点锁、临时空间,还是在合理查询和容量配置下仍达到单实例资源上限。
索引优化、归档冷数据、减少返回字段、控制批任务、将分析移出交易路径,往往应先评估。这些措施减少单实例需要处理的工作,可能推迟分片。只读副本保存数据副本,能分担读取,却不能直接分担单主写入;副本可能尚未同步最新提交,读取这种较旧状态的问题见 27。
决定分片前,至少拿出数据增长、峰值写入、单实例成本、核心查询和维护窗口的证据。不要把“未来可能增长”当作今天承担全部分布式复杂度的理由。
2. 四种拆法,不是一个概念
数据库实例是一个运行中的数据库服务;多个表若仍由同一实例处理,通常仍共用它的计算和存储资源。先区分“把表拆小”和“把负载放到不同实例”,才能判断拆分是否改变了资源上限。
| 方式 | 做了什么 | 未自动解决什么 |
|---|---|---|
| 垂直拆表 | 把同一实体的大字段或低频字段拆出去 | 同实例 CPU/I/O 总上限、跨表维护成本 |
| 水平分表 | 按行把同一逻辑表分为多个表 | 若仍在同一实例,资源和故障边界仍共享 |
| 水平分库 | 按行放到不同数据库实例 | 路由、跨实例事务、全局约束与查询 |
| 数据库原生分区 | 在引擎内部按规则组织一个逻辑表 | 不能直接等同于跨机器分片,能力依产品而定 |
复制是保存相同数据的副本,分片是把不同数据放到不同位置;两者可以同时使用。多个分片共用宿主机、存储、路由服务或调度系统,也不等于完全故障隔离。
“原生分布式数据库”由产品内部承担更多路由、事务与执行协调,应用分库方案则由应用或中间件承担。责任位置不同,网络、热点和恢复成本并不会消失。
3. 两个分片,先把路由算明白
分片键是决定一行数据存放位置的字段,路由是根据它找到目标分片的过程。本例用正整数 user_id 作为分片键,按 user_id % 2 取余:结果 0 到分片 A,结果 1 到分片 B。订单和明细都按所属用户采用同一规则,放在同一片,这称为共置。
| 分片 | 用户号 | 订单号 | 排序时间值 | 金额 |
|---|---|---|---|---|
| A | 2 | A101 | 10 | 60 |
| A | 4 | A102 | 8 | 40 |
| B | 3 | B201 | 9 | 90 |
| B | 5 | B202 | 7 | 10 |
排序时间值只是方便比较的数字;真实系统通常使用时间与稳定唯一标识组合。A101、B201 的前缀用于区分示例订单,本例不约定能从订单号解析实际路由。
- 查询用户 2 的订单:带着用户号,只访问 A。
- 查询订单 A101:只有订单号时,如果订单号不携带可解析的路由信息,就不能用用户号规则定位。
- 查询所有用户最新订单:需要访问 A、B,合并结果。
用户 2 去 A、用户 3 去 B,都能由规则直接算出;订单号 A101 却不能代入用户号规则。可见,数据分布均匀只是选键的一项要求,核心查询能否取得这个键同样重要。
3.1 从访问模式选择分片键
按用户分片有利于查询用户订单列表,也便于订单与明细在同库事务中提交;但一个数据量或流量特别大的用户,仍可能压满一片。多租户系统中的租户通常指共享系统的一个客户或组织,大租户也可能有同样问题。按订单号分片有利于用订单号查询单笔订单,却可能把同一用户的订单分散到多片;按时间分片便于归档,但最新时间段的写入会集中。
应综合考察:核心查询是否带键、关联和事务能否共置、数据是否倾斜、键是否会变化、迁移与合规边界。相同数量的用户不代表相同数据量和流量;一个超级用户仍可能形成单片热点。
4. 没有分片键的查询:映射表不是免费答案
可以保存 订单号 → 用户号或逻辑分片号 的映射,先查映射再查订单。逻辑分片号标识一个数据分组,路由配置再决定它对应哪个实际数据库。这样不必每次搜索所有订单,但查询多了一步,订单与映射也必须保持一致。
| 故障窗口 | 业务后果 | 必须明确的处理 |
|---|---|---|
| 订单成功、映射未写入 | 客服暂时找不到订单 | 是否允许延迟、如何补齐、怎样查询状态 |
| 映射成功、订单未提交 | 路由指向不存在的订单 | 预占状态、过期处理和提交确认 |
| 数据迁移了、映射还是旧位置 | 查不到或读到旧副本 | 路由版本、权威位置、转发与切换规则 |
本地事务只能把本数据库内的修改作为一个整体提交;映射与订单在不同数据库时,它无法保证两者同时成功或失败。可采用有恢复能力的分布式事务,或在订单库同事务记录待发事件,再异步补齐映射并对账。后一种方式把“订单与待发事件一起提交”作为起点,但映射稍后才可见,因此不能保证“写成功立即可定位”。见 分布式 29 Outbox 与 CDC。
向所有分片发出查询称为广播,可以作为有限流措施的兜底。一个请求会变成多次数据库请求,因此不能让每次映射未命中都触发无限制广播;路由服务故障时,大量请求一起广播可能把局部故障扩大到所有数据库。
5. 两个分片推导全局排序和聚合
5.1 最新两条为什么不能分别返回给调用方
上例按时间降序,A 的顺序是 A101、A102,B 是 B201、B202。各片取前两条,合并后的顺序是 A101、B201、A102、B202,最终只返回 A101、B201。把片内结果按统一规则合成全局结果,称为全局归并;直接拼接各片结果,既不保证全局顺序,也可能返回过多行。
全序规则指任意两行都能确定先后,排序值相同时也有明确的比较规则。在统一确定的全序规则、候选行不重复、各片结果完整的前提下,全局前 K 条一定包含在每片前 K 条的并集中。最多获取 分片数 × K 个候选,再合并。分页中的 OFFSET 是跳过的行数,LIMIT 是返回的行数;各片先取 OFFSET + LIMIT 条是常见做法,因此翻页越深、分片越多,需要传输和归并的候选就越多。
理由很简单:某行若在自己片内排在 K 名之后,片内已经至少有 K 行排在它前面,它就不可能进入全局前 K。这里必须在各片先执行同样的筛选,再按同一排序规则取候选;若归并后还有额外过滤、去重或业务排序,这个候选上限不能直接套用。
排序字段并列时要加入稳定唯一标识。若订单号只在片内唯一,可以用时间、分片号和片内订单号组成完整排序键。没有确定顺序就不能保证稳定翻页。
排序正确仍不保证各片读到同一时刻。在 A 查询结束与 B 查询开始之间,可能有新订单提交。全局一致快照要求各片结果对应同一个一致性边界,需要数据库或中间件明确支持。游标分页从上一页的排序键继续查询,可减少深分页扫描,却不会自动建立跨片快照。见 08 分页。
某片超时后,是整次失败还是返回部分结果,应由接口契约决定;返回部分结果必须显式标注,不能悄悄少算。
5.2 总额能相加,平均值不能直接平均
A 金额和为 100、数量为 2;B 金额和也为 100、数量为 2;全局总额 200、数量 4、平均 50。
上例两片行数恰好相同,容易掩盖直接平均片内均值的问题。换一个示例:A 的三行平均值为 10,B 的一行平均值为 100,全局平均是 (3 × 10 + 1 × 100) / 4 = 32.5,不是两个平均值的平均 55。直接平均会给两片相同权重,而每片代表的行数不同。各片应返回金额和与有效数量,全局再用总和除以总有效数量。
若金额允许 NULL,表示该金额没有确定值,AVG(amount) 的有效数量对应 COUNT(amount),不能直接用统计所有行的 COUNT(*)。例如 A 为 10、NULL,B 为 100,则已知金额和 110、有效数量 2、平均 55;把三行都作分母会改变定义。所有片都没有有效金额时,按 SQL 聚合口径返回 NULL,不应除以零或静默定义成 0。
金额和、空集合及 NULL 的业务口径须先确定,见 07 聚合和 10 NULL;函数依据为 MySQL 8.4 聚合说明。这些算术结果仍以参与计算的数据为准;若要求跨片同一时刻的总额,还需前述一致快照条件。
同一客户出现在多片时,片内去重人数也不能直接相加,否则会重复计数。JOIN 用关联条件匹配两侧记录;如果关联数据不共置,就可能需要跨片查找、传输和合并。多个一对多关联还可能放大行数。聚合语义见 07,关联粒度见 05。
6. 全局 ID 和全局业务唯一是两件事
各片从 1 开始自增,会生成相同订单 ID。可以用号段服务、带节点信息的时间 ID、随机标识或产品提供的全局序列,但必须核对生成可用性、节点身份、时钟回拨、冲突概率、存储类型和索引成本。不存在脱离这些前提的“绝对唯一且零成本”方案。具体生成边界见 分布式 33 唯一 ID。
即使每个订单 ID 都不同,同一个支付请求仍可能生成两笔订单。标识不重复,不等于业务操作不重复。
例如用户按用户号分片,邮箱需要全局唯一。两个人位于不同片,每片本地唯一索引都可以接受同一个邮箱,因为索引只检查本片数据。先查所有分片、确认邮箱不存在,再插入也不可靠:两个并发请求可能都在对方插入前查到“不存在”,随后各自在本片插入成功。
一种方案是先统一邮箱的比较形式,即规范化,再把同一邮箱路由到唯一的负责位置,在那里原子判断并登记占用。这种在创建用户前登记占用的做法称为预占。它把竞争集中到一处,但还要协调用户创建,处理大小写与规范化口径、预占失败、超时结果未知、释放及恢复。身份与比较口径见 03,幂等约束见 16。
7. 跨片事务:先看能不能把强一致数据放一起
同一用户订单和明细共置,普通本地事务仍可一起提交。如果订单、库存、付款落在不同资源,分别提交就有中间状态:库存扣了,订单却没生成。
两阶段提交先让参与资源准备提交,再由协调器决定提交或回滚;XA 是协调多个资源事务的一类接口规范。业务补偿则用后续业务操作修复已经完成的步骤,例如释放已预占的库存。两者对中间状态和恢复方式的要求不同。
| 方向 | 承担的责任 | 适用判断 |
|---|---|---|
| 尽量共置、减少跨片边界 | 重新划分数据与操作边界 | 强一致规则是否能在一片内完成 |
| XA / 两阶段提交 | 协调多个支持协议的资源及故障恢复 | 资源支持、协调器持久化、超时和恢复是否可靠 |
| 业务补偿流程 | 接受中间状态,重试并补偿已完成步骤 | 业务是否真的可补偿、补偿失败如何处理 |
本地原子性不是跨资源原子性;两阶段提交也不自动解决全部业务隔离和幂等规则。隔离涉及并发操作如何相互影响,幂等要求同一业务请求重复到达时不会重复生效。补偿不是数据库回滚,例如已发货不能简单“反向更新字段”。详见 分布式 26、27 2PC 与 XA、28 TCC 与 Saga。
提交时超时只说明客户端没有及时收到结果,可能是未提交,也可能是提交成功但响应丢失。客户端不能仅凭超时就认定所有片失败并再次扣款,必须按请求身份查询负责确认该请求状态的权威记录,保留恢复与对账流程。
8. 扩容:改取模公式会把已有数据指向空位置
从 % 2 改成 % 4,用户 2 原来去分片 0,新规则去分片 2;用户 3 原来去分片 1,新规则去分片 3。但数据不会自己搬过去。
在余数分布均匀的情况下,从 N 直接翻倍到 2N,会有约一半键的路由变化;真实比例取决于键分布。可以先把键分到稳定的逻辑槽,再用映射表决定每个槽对应哪个物理分片,扩容时只调整选定槽的映射。一致性哈希也用于降低部分拓扑变化时的路由重映射范围。这些方法减少或细化迁移范围,不替代数据迁移协议。
8.1 一条可验收的迁移流程
存量复制搬运某个快照中的已有数据,增量追赶同步快照之后的插入、更新和删除。CDC(变更数据捕获)是获取这些变更的机制;DDL 是建表、改表等数据定义操作。迁移既要衔接数据变化,也要处理结构变化,并在每个阶段明确权威写入位置:谁负责确认该数据的写入结果。
| 阶段 | 必须说明 | 验收证据 |
|---|---|---|
| 设计 | 迁移哪些键,谁是权威写入位置 | 路由版本、数据范围、回退条件 |
| 存量复制 | 快照与后续变化从哪里衔接 | 可定位的快照/日志边界,避免复制期间漏更新 |
| 增量追赶 | 插入、更新、删除与顺序如何处理 | 日志进度、业务版本、延迟及失败记录 |
| 校验 | 比较哪个一致边界上的数据 | 行身份、金额、删除状态与关键约束;不是只数行 |
| 切换 | 旧写入如何收敛,新路由何时生效 | 暂停/排空旧写或可靠写入隔离,最终进度确认 |
| 观察与回退 | 新位置开始接受写入后怎样退回 | 反向同步或暂停写入后的受控迁回 |
| 清理 | 何时可删旧数据与日志 | 保留期、恢复演练、负责人确认 |
默认应在旧位置写入,捕获变化并同步到新位置,而不是让两个独立位置长期接受无协调写入。“应用同时写两边”仍可能一边成功一边失败,还可能被全量旧数据覆盖新值。
切换前可以对少量读取做结果比较;真正切写必须处理旧进程、旧事务和旧路由缓存。仅发布新配置,不保证旧写入已停止。新片已有新增数据后,回退不能只改回路由,否则会丢掉这批新写。
用一行数据理解存量与增量衔接:快照读取订单版本 7 → 旧位置随后提交版本 8 → 增量把版本 8 同步到新位置 → 达到已确认边界后切写。若迟到的全量版本 7 覆盖了新位置的版本 8,数据就倒退。因此必须有明确的快照与日志边界、变更应用顺序,或可靠的版本仲裁规则。版本仲裁指按版本判断是否接受写入,避免旧值覆盖新值;版本来源和并发比较规则也必须明确。
迁移工具能否提供一致快照、正确衔接日志、处理 DDL 和从中断处恢复,要按具体版本验证,不能仅凭支持 CDC 就推断可以无损切换。
9. 分片后的运维成本,要先算再拆
多片意味着更多连接池、监控对象、DDL 发布、备份、复制和故障恢复。按“每个片都能恢复”检查还不够:跨片存在关联业务时,各片恢复到不同逻辑时刻可能破坏整体约束,需要协调恢复边界和业务对账。
备份恢复见 28,连接总预算见 23。定位问题时,应记录分片身份、路由配置版本,以及同一时间窗口内的请求和资源状态,避免把不同片或不同时段的现象拼成一个结论。热点用户可能需要独立资源或重新划分业务:如果该用户仍全部路由到原片,增加其他分片并不会分担它的负载。
若需求是大量跨片 SQL、统一事务和频繁在线扩容,可以进入 30 产品选型,评估将协调责任交给产品是否值得。不要只比较“应用改动少”,还要比较可观察性、恢复能力和团队成本。
10. 名词解释
| 名词 | 含义 |
|---|---|
| 分片键 | 用于确定数据存放位置的业务字段 |
| 原生分区/跨实例分片 | 一个逻辑表在引擎内分组/数据分布到独立实例,资源边界不同 |
| 路由 / 广播 | 根据条件找到目标片 / 向多个或所有片请求 |
| 共置 | 需要一起访问或提交的数据放到同一片 |
| 全局归并 | 把片内候选按同一规则合并成全局结果 |
| 逻辑槽 | 稳定的数据分组,另用映射决定它当前归哪个物理片 |
| 水位 | 已同步到的可定位进度,不一定是时间戳 |
| 权威写入位置 | 某阶段唯一负责确认该数据写入结果的位置 |
| 两阶段提交 / 补偿 | 多资源准备后协调提交 / 用业务操作修复已完成步骤 |
| 一致性哈希 | 降低部分拓扑变化时路由重映射范围的方法,不代替搬数据与切写 |
| 版本仲裁 | 按明确规则拒绝或合并旧写入,版本来源与并发规则仍须验证 |
11. 阅读验收与待核验边界
读完应能交付一张小清单:核心查询是否带分片键;关联和强一致规则能否共置;全局排序、聚合与部分失败如何定义;新旧位置各阶段谁能写;迁移及恢复按什么一致边界验收。缺其中一项,不能只凭吞吐改善宣布分片方案完成。
选择具体中间件时,应按目标版本验证路由缓存、跨片快照、事务恢复、DDL、CDC 衔接和在线扩容;这些能力决定上述边界能否落实。下一篇 30 产品选型进一步比较由应用还是产品承担协调责任。
总结:分片不是把一张表复制几份,而是重新分配数据、执行和恢复责任。先按核心访问选键,再明确全局语义,最后为迁移和故障写出验收条件。