外观
33 - Snowflake ID 为什么会重复:分布式唯一 ID 的设计边界
摘要
订单服务部署在多个实例上时,每个实例都可能同时创建订单。如果它们各自从 1 开始编号,就会生成重复 ID。分布式唯一 ID 要解决的是:多个生成者如何在同一个使用范围内生成互不重复的编号。
Snowflake 将时间、节点身份和序列号组合成整数,让节点可以在本地生成 ID。但位运算本身不负责协调节点,也不能修复时钟故障。理解它的关键是先看三个字段如何分工,再看 Worker ID 冲突、时钟回拨和序列耗尽时如何维持唯一性。
1. 选型指标
- 全局唯一:先界定范围,是一张表、一个业务系统,还是多个系统共同使用的编号空间。
- 顺序要求:趋势递增表示 ID 整体随时间增大;严格递增还需要明确按什么顺序比较,例如生成、发放或业务提交顺序。两者不能混用。
- 吞吐与可用性:单位时间需要生成多少 ID,时钟异常或外部依赖故障时能否继续生成。
- 存储与暴露方式:ID 长度、索引局部性,以及是否能从 ID 推断时间、节点或业务量。索引局部性指相邻写入的键是否接近,它会影响索引页的访问和写入分布。
- 外部依赖:是否需要时钟、数据库或协调服务,以及这些依赖不可用时的处理方式。
三类常见方案把协调成本放在不同位置:
| 方案 | 基本模型 | 主要边界 |
|---|---|---|
| 随机 UUID(通用唯一标识符) | 各节点独立生成随机标识,靠足够大的取值空间降低碰撞概率 | 随机方案不提供递增顺序;用于有序索引时,写入位置较分散 |
| 数据库号段 | 数据库分配互不重叠的整数区间,应用从自己的区间中取号 | 分配区间依赖数据库;允许未使用的编号形成空洞 |
| Snowflake | 常将时间、节点号和毫秒内序列编码为 64 位整数 | 依赖节点身份不冲突、时间处理正确,以及序列不被重复使用 |
这里的 UUID 比较针对随机方案,不能套用到所有 UUID 类型。选择方案前,应先确定业务是否真的需要递增编号,而不只是需要唯一标识。
2. Snowflake 结构
text
sign | timestamp | workerId | sequencesign 是符号位,timestamp 是时间字段,workerId 是生成节点的编号,sequence 是该节点在同一毫秒内的序列号。可以把后三个字段看成一个组合键:
- 不同节点在同一毫秒生成 ID,靠不同的
workerId区分。 - 同一节点在同一毫秒生成多个 ID,靠不同的
sequence区分。 - 同一节点进入下一毫秒后,可以重新从序列号
0开始,靠不同的timestamp区分。
因此,只要同一个时间、同一个节点编号和同一个序列号再次组合,就可能产生重复 ID。序列用完后必须等待新的时间单位,或采用其他明确的处理策略,不能直接从零继续发号。
各字段位数决定可用年限、节点数和每时间单位的最大序列容量。不同实现的分配不同,不能假定所有 Snowflake 都采用同一布局。时间字段通常存储相对于自定义 Epoch(时间起点)的毫秒差值,而不是完整的当前时间戳;它的位宽仍然限制可表示的时间范围。
3. 最小生成器
下面的 Java 类展示本地生成流程,不包含节点编号分配、状态恢复和告警等部署逻辑。
java
public final class Snowflake {
private final long workerId;
private long lastMillis = -1;
private long sequence;
public Snowflake(long workerId) {
if (workerId < 0 || workerId > 1023) throw new IllegalArgumentException();
this.workerId = workerId;
}
public synchronized long nextId() {
long now = System.currentTimeMillis();
if (now < lastMillis) throw new IllegalStateException("clock moved backwards");
if (now == lastMillis) {
sequence = (sequence + 1) & 4095;
if (sequence == 0) do { now = System.currentTimeMillis(); } while (now <= lastMillis);
} else sequence = 0;
lastMillis = now;
return (now << 22) | (workerId << 12) | sequence;
}
}这段代码的三个关键步骤是:
synchronized让同一个对象的调用串行更新lastMillis和sequence,避免并发线程使用同一份状态生成重复组合。它不会协调其他对象或进程。workerId限定为0到1023;序列通过& 4095限定为0到4095,即同一节点每毫秒有 4096 个序列值。用完后循环等待下一毫秒,不能把这个位宽容量直接当作实际吞吐测量。- 时间左移 22 位,给节点号的 10 位和序列的 12 位留出位置;节点号左移 12 位,再用按位或
|合并字段。
示例未减自定义 Epoch,直接左移当前毫秒时间戳会占用更多位,并受 Java long 位宽限制。因此它仅用于展示生成流程与冲突条件,不能原样作为生产实现。序列耗尽时的循环会持续读取时钟;若时钟迟迟不超过 lastMillis,调用也会一直等待。
4. Worker ID 冲突
Worker ID 必须在同一个 ID 使用范围内区分活跃生成者。如果两个实例使用相同的 Worker ID,在同一毫秒都从序列号 0 开始,就会生成相同 ID;各实例内部加锁也无法阻止这种冲突。
Kubernetes(容器编排平台)自动扩缩容时,若 Worker ID 来自容器内固定配置,复制部署就可能让多个实例使用同一个编号。可以由可靠协调服务租赁编号、使用稳定实例身份映射,或选择不依赖静态 Worker ID 的方案。租赁意味着节点只在约定的有效期内拥有该编号,不能领到编号后永久使用。
还需要处理租约复用的安全窗口:编号重新分配时,旧实例必须已经停止使用它,新实例也不能重新生成旧实例用过的时间与序列组合。即使没有两个实例同时运行,重启后丢失内存状态,也需要纳入编号复用和恢复策略。
5. 时钟回拨
时钟回拨是系统时间变小。例如,同一节点已经在某个毫秒生成过 ID,后来又读到更早的时间。如果继续使用回拨后的时间并重置序列,就可能重新生成已经使用过的组合。将 lastMillis 清零只是丢掉检测依据,并没有消除重复风险。
上面的生成器在发现 now < lastMillis 时直接抛出异常。其他实现可以在短回拨时等待时间追上,在长回拨时拒绝生成、切换备用 ID 方案,或使用逻辑时间。逻辑时间是生成器维护的时间进度,不必随系统时钟回退;采用它仍需处理序列容量和状态恢复。备用方案也必须与已有 ID 保持不冲突。
等待会增加延迟,拒绝生成会影响可用性,因此策略需要明确等待上限、失败处理和告警,不能静默隐藏时钟故障。
6. 号段模式
号段模式把“每次生成一个 ID”变成“先领取一批 ID”。数据库原子分配 [start, end) 区间,即包含 start、不包含 end;原子分配要求并发申请不会拿到重叠区间。应用随后在内存中逐个取号,接近耗尽时预取下一段,减少每次取号访问数据库的压力。
唯一性依赖两个条件:数据库分配的区间不重叠,应用也不重复发放区间内的编号。进程崩溃会浪费尚未使用的 ID,但只要这些区间不被重新发放,通常不会破坏唯一性。数据库暂时不可用时,实例可以继续使用已有号段;号段耗尽后能否继续服务,则取决于是否已取得下一段。
号段内可以递增取号,但多个实例领取不同区间后交错发号,不保证全局按业务发生顺序递增。若业务还要求连续无空洞,就需要处理崩溃、取消等情况下未使用的编号,协调成本会更高。应区分“编号唯一”和“编号连续”这两个需求。
7. 容易踩的坑
- 复制部署时沿用 Worker ID:编号分配要覆盖扩容、重启和租约复用,而不只是首次启动。
- 时钟回拨时清零
lastMillis:丢失历史状态可能让时间与序列组合被重复使用。 - 把趋势递增当作业务顺序:跨节点时钟、请求延迟和提交时机都会影响顺序,不能仅靠 ID 大小判断哪个业务先发生。
- 直接向外暴露内部 ID:可解析或递增的 ID 可能泄漏时间、节点或业务量信息,需要时可使用额外随机标识;标识本身不能替代访问权限检查。
- 存储类型不一致:数据库的有符号、无符号整数类型与应用中的数值类型应匹配,避免 ID 在写入、读取或比较时改变含义。
8. 总结
唯一 ID 的安全性来自对时钟、节点身份和序列容量假设的持续维护。
- Snowflake 用时间、节点号和序列区分生成者与生成时刻;节点冲突、时间回退、状态丢失和序列复用都需要明确处理。
- 号段模式把协调集中到区间分配,允许空洞以降低数据库访问压力,唯一性仍依赖区间和取号过程不重复。
- 唯一性、趋势递增和严格业务顺序是不同要求,选型时应分别确认。
下一篇:日志都有 Trace ID,为什么还是找不到慢在哪里。