外观
04 - 系统时间不能完全相信:时钟漂移、逻辑时钟与事件顺序
摘要
两台机器的日志可能显示“接收早于发送”,持锁节点也可能在租约过期后继续写入。理解这些问题,需要先分清三个问题:事件发生在几点、一次操作花了多久、两个事件是否存在因果关系。本文从本地时钟讲起,再解释逻辑时钟如何记录事件依赖,以及锁、唯一 ID 和订单更新为何不能只依赖时间戳。
1. 场景:日志里的因果关系反了
服务 A 在 10:00:00.120 发起请求,服务 B 的日志却显示它在 10:00:00.080 收到请求。若只按时间戳排序,看起来 B 在 A 发送前就处理了消息。
两条日志使用的是不同机器的本地时钟。只要 B 的时钟落后得足够多,即使消息正常传输,也会出现这个现象。消息必然先发送、后接收;日志上的日历时间却不一定能反映这个顺序。
如果时间戳只用于展示,这种偏差会干扰排障;如果系统还用它决定锁过期或订单覆盖,就可能影响业务正确性。例如“最后写入获胜”是按某种排序规则只保留一个版本;若规则只比较物理时间戳,较大的值不一定代表真正较晚的更新。
2. Wall Clock 与 Monotonic Clock
**Wall Clock(墙上时钟)**表示日历时间,用于回答“现在是几点”。Java 中常通过 Instant.now() 或 System.currentTimeMillis() 获取。它可能因 NTP(网络时间协议)校时、管理员修改或虚拟化环境而向前跳或向后回拨。
**Monotonic Clock(单调时钟)**用于测量经过的时长,不承诺对应真实日期。应用中应在同一进程、同一时钟来源内计算差值。Java 的 System.nanoTime() 适合计算耗时,下面是调用方需要提供 doWork() 的局部片段:
java
long start = System.nanoTime();
doWork();
long elapsedNanos = System.nanoTime() - start;预期行为:elapsedNanos 保存两次读取之间的耗时,单位为纳秒;片段没有控制台输出。纳秒是返回值的单位,不代表每次读取都有纳秒级精度。
若用 currentTimeMillis() 的差值测量耗时或判断超时,时钟回拨可能让差值变成负数,向前跳变则可能让超时提前触发。不同 JVM 的 nanoTime() 没有可依赖的共同原点,也不能拿来跨进程比较事件先后。
3. 为什么机器时间不会完全相同
机器靠物理振荡器计时,但振荡频率存在误差。即使两台机器起初对齐,运行一段时间后也可能逐渐偏离,这就是时钟漂移;某一时刻两台时钟读数的差异则是时钟偏差。
NTP 通过与时间源交换报文来估计并修正偏差。报文传输需要时间;当往返两个方向的网络延迟不对称时,偏差估计也会受到影响。再加上上游时间源质量和配置差异,NTP 无法保证所有节点在每个瞬间完全一致。
NTP 客户端可能逐步调速,也可能在特定配置下直接跳变。具体校时策略依赖操作系统、守护进程与版本,不能假定统一行为。
因此,日志时间可以帮助缩小排查范围,因果判断还需要请求标识和协议关系。Trace(调用链)关联一次请求中的操作,Span(调用片段)记录其中的一段处理;父子 Span、消息 ID、序列号和协议状态可以帮助还原“谁触发了谁”。这些关系也以标识正确传播、记录完整为前提。
4. Lamport Clock:先发生就必须更小
先定义因果先后:同一参与者按顺序处理的事件有先后关系,消息发送先于该消息的接收,这些关系还能传递。如果 A 先于 B,B 又先于 C,那么 A 也先于 C。若两个事件之间不存在任一方向的因果关系,就称它们并发;这里不要求它们在物理时间上同时发生。
**Lamport Clock(Lamport 逻辑时钟)**不读取日历时间,而是为每个参与者维护一个整数计数器。消息把发送方已经经历的顺序信息带给接收方,使接收事件的计数大于发送事件:
- 本地事件(包括发送事件)发生时,计数器加一;
- 发送消息时,携带这次发送事件的计数;
- 接收事件直接取
max(本地值, 消息值) + 1,不再额外执行一次本地加一。
下面的 Java 类只演示计数规则,不包含消息传输。调用方在本地事件或发送事件调用 tick(),将返回值附在消息中;收到消息时调用 receive()。模型假设计数不溢出,传入值来自遵守相同规则的参与者。
java
public final class LamportClock {
private long value;
public synchronized long tick() {
return ++value;
}
public synchronized long receive(long remoteValue) {
value = Math.max(value, remoteValue) + 1;
return value;
}
public synchronized long value() {
return value;
}
}预期行为:计数器初始为 0,第一次 tick() 返回 1;随后 receive(5) 返回 6。value() 只读取当前值,不记录新事件;片段没有控制台输出。synchronized 使同一实例的方法调用互斥,但消息发送仍需使用对应 tick() 的返回值,避免另一次事件改变计数后再读取它。
如果事件 A 因果先于 B,则 Lamport 时间 L(A) < L(B)。反过来不成立:时间更小不一定代表存在因果关系。没有交换消息的参与者可以独立计数,并发事件的数值可能不同,也可能相同。若要确定一个统一排序,还需要节点标识等规则打破平局;这个排序不会凭空建立因果关系。
5. Vector Clock:识别并发更新
**Vector Clock(向量时钟)**把一个整数扩展为一组整数,每个维度对应一个参与者。每个参与者保存整个向量,本地事件或发送事件只增加自己的维度;发送时携带向量,接收时先逐维取最大值,再增加接收方自己的维度。这样,向量不仅记录自己的进度,也记录已经获知的其他参与者进度。
在参与者维度一致、事件依赖完整记录并随消息传播的模型下,比较两个事件的向量:
- 所有维度都不大于且至少一个更小,说明前者因果早于后者;
- 两者各有更大的维度,说明更新并发,系统需要保留冲突或执行业务合并。
例如,B 已知 A 的第 1 次更新,但离线期间没有收到 A 的第 2 次更新;B 随后执行自己的第 1 次写入。预期版本关系如下:
text
A 写入:{A: 2, B: 0}
B 离线写入:{A: 1, B: 1}
两个向量互不支配,因此是并发版本。A 的维度在第一个向量中更大,B 的维度在第二个向量中更大,因此没有一个版本包含另一个版本的全部因果历史。向量能识别冲突,却不会决定业务应该选哪个值或怎样合并。
向量随参与者数量增长,成员管理和压缩成本较高。具体存储系统还可能采用版本向量(围绕数据版本记录更新历史)、点状版本向量(用单次更新标识与历史上下文表示版本),或混合逻辑时钟(结合物理时间与逻辑计数)。这些方案的语义和代价需要分别判断,不能把概念模型等同于某个产品实现。
6. 时钟问题怎样破坏分布式锁
租约是有有效期的持锁资格,到期后锁服务可以把资格交给其他节点。假设节点 A 获得 10 秒租约,随后发生长时间 Stop-The-World(例如垃圾回收导致应用线程暂停)。暂停期间无法及时续约,租约在锁服务端已经过期,节点 B 获得新锁;A 恢复后仍以为自己拥有锁并写数据库。
即使两台机器的物理时钟完全一致,这个问题也可能发生:锁服务的资格已经变更,旧进程却没有及时获知。时钟偏差或回拨会进一步使本地有效期判断不可靠。
仅检查本地时间或“我曾经拿到锁”无法阻止旧持有者。**Fencing Token(隔离令牌)**是随每次授予锁而递增的编号,持有者写入时携带它,最终资源据此拒绝过时的写入。下面展示资源端已经接受较新令牌后的预期行为:
text
A 获得 token=41
B 后来获得 token=42
存储层拒绝 token < 42 的写入前提是最终资源能够验证令牌,并将令牌比较、最高已接受令牌的更新和业务写入作为不可被并发穿插的操作。资源端只有在获知并接受 42 后,才会按这个规则拒绝 41;B 仅从锁服务拿到 42,并不代表数据库已经知道 42。
只在 Redis 中保存锁,而数据库完全不检查令牌,保护仍可能在租约过期后失效。令牌也不能替代所有业务约束,订单状态等规则仍需在写入时检查。
7. Snowflake 与时钟回拨
Snowflake 类 ID 是一种组合式唯一标识:通常把时间戳、节点号和序列号编码进整数。节点号用于区分生成节点,序列号用于区分同一节点在同一毫秒内生成的多个 ID。若时钟回拨到已经使用过的毫秒,且节点号、序列再次重合,就可能生成重复 ID。
常见处理包括短时间等待、拒绝生成、记录逻辑偏移(在回拨期间维持不倒退的逻辑时间)或切换备用节点号。每种策略都在可用性、趋势递增和复杂度之间取舍;备用节点号还必须避免与其他生成器冲突。具体选择取决于实现,不能简单捕获异常后继续使用回拨时间。
8. 反例与正例
反例:使用“最后更新时间更大”无条件覆盖订单状态。假设业务要求某个已确认的支付结果不能被取消更新覆盖,但支付节点时钟慢于取消节点,按时间戳选择版本就可能选中取消状态。时间戳大小既不证明事件依赖,也不判断状态转换是否合法。
更合理的做法是通过版本号和状态机约束更新。状态机规定哪些状态能够转换到哪些状态。下面是使用参数占位符 ? 的 SQL 片段,假设 id 唯一定位订单,PENDING 表示待支付,PAID 表示已支付;调用方需通过数据库驱动绑定订单 ID 和读取到的版本:
sql
UPDATE orders
SET status = 'PAID', version = version + 1
WHERE id = ? AND status = 'PENDING' AND version = ?;预期行为:订单仍为 PENDING 且版本等于传入值时,更新为 PAID 并将版本加一;条件不匹配时不更新。调用方必须检查受影响行数:唯一订单更新了 1 行才表示这次转换成功,0 行则需要重新查询并判断版本冲突、状态变化或订单不存在,不能直接当作支付状态已写入。
时间戳用于审计展示,版本和业务前置状态用于并发控制。该语句只保护一次订单状态转换,不会自动解决外部支付结果与数据库之间的一致性,也没有定义支付和取消冲突的完整业务规则。
9. 容易踩的坑
- 跨机器直接相减日志时间,忽略时钟偏差。
- 用墙上时钟测量单进程耗时。
- 把 NTP 理解成所有机器严格同步。
- 直接信任客户端时间来决定优惠资格、认证 Token(令牌)过期或写入顺序。
- 用时间戳实现锁,却没有服务端租约和隔离令牌。
- 认为 Lamport Clock 能判断所有事件是否并发。
10. 线上排查
遇到疑似时钟问题时检查:
- 操作系统时区和时间同步服务状态,区分日志显示时区差异与实际时钟偏差;
- 当前偏差、上游时间源和最近校时事件;
- 虚拟机/容器宿主机是否异常暂停;
- 应用是否使用单调时钟计算耗时;
- Trace 中父子 Span 和消息 ID 是否能还原因果;
- 业务覆盖规则是否错误依赖客户端或本地时间。
具体命令随 Linux 发行版、Windows 版本和 NTP 实现而异,执行前应按环境确认。
11. 总结
物理时间适合描述“几点发生”,却不能单独证明分布式事件的因果顺序。
- 单进程耗时使用单调时钟,跨节点顺序结合协议版本和 Trace 关系判断。
- Lamport Clock 保证因果先后的计数关系,但不能反推因果;Vector Clock 在完整记录依赖的模型下还能识别并发。
- 锁、ID 和状态覆盖不能盲信本地时间,应使用租约、版本或 Fencing Token。
下一篇:RPC 为什么不只是一次 HTTP 请求:从动态代理到字节流返回。