外观
25 - Java 锁竞争与长尾延迟排查
适用 JDK:JDK 8+。JFR 事件名称和字段可能随 JDK 版本变化,采集前应核对目标 JDK。
前置阅读:04 - synchronized 的 Monitor 机制、06 - ReentrantLock 与 AQS。
摘要
CPU 不高、数据库也正常,接口 P99 为什么突然升到数秒?P99 是请求耗时的第 99 百分位数,表示约 99% 的请求耗时不超过这个值。少量请求远慢于大多数请求的现象,称为延迟长尾。这里描述的是排障场景,不是实测记录。
先看互斥锁的基本模型:同一时刻只有一个线程能持有同一把锁,其他需要这把锁的线程必须等待。受锁保护的代码段称为临界区。一次经过锁的操作,耗时包含获取锁前的等待、持锁期间的工作,以及释放锁后的工作。
如果持锁线程遇到慢调用,后续请求即使自身工作很少,也要先等它释放锁;等待期间再有请求到达,排队就可能继续扩大。等待线程未必消耗很多 CPU,因此低 CPU 不能排除锁竞争。排查要分别回答:谁在等、谁持有、持有多久,以及等待影响了多少请求。
1. 先区分等待类型
线程 Dump(线程转储)是采集瞬间各线程状态和调用栈的快照。先用状态缩小范围,再沿调用栈确定线程在等待什么:
| 现象 | 常见含义 |
|---|---|
BLOCKED (on object monitor) | 等待进入 synchronized Monitor |
WAITING (parking) | 可能在等 AQS 锁、Condition、Future 或其他 park 协议 |
TIMED_WAITING (parking) | 带超时的 park,不一定是锁竞争 |
RUNNABLE | 可能正在执行、Native 调用或采样时尚未阻塞 |
Monitor 是 synchronized 使用的监视器机制;AQS(AbstractQueuedSynchronizer)是构建锁和其他同步器的基础框架。park 是挂起线程的等待机制,不专属于锁;Condition 表示条件等待,Future 表示异步任务的结果。Native 调用指进入本地代码的调用,RUNNABLE 不能直接等同于正在消耗 CPU。
因此不能把所有 parking 都归因于 ReentrantLock。即使栈中出现 AQS,也要继续查看具体同步器和业务调用路径,区分获取锁、等待条件和等待任务完成。
2. 从等待者找到持有者
下面是用于说明读法的线程转储片段,<0x...> 是省略后的对象标识,不是实际采集输出:
text
"worker-42" ... BLOCKED (on object monitor)
at PriceCache.get(PriceCache.java:87)
- waiting to lock <0x...> (a java.lang.Object)waiting to lock 表示该线程正在等待获取所列对象的 Monitor,并不表示它持有这把锁。应在同一份转储中查找该对象对应的持有记录,再查看持有者的业务栈,确认它正在做什么。
单份 Dump 只能说明采样瞬间。连续采集多份线程 Dump,如果同一批线程持续等待同一对象,并且某个持有者反复停留在相同慢调用,更能支持持续竞争的判断。快照仍不能直接给出完整的持锁时长,需要结合事件或埋点。
ReentrantLock 的 Dump 未必像 Monitor 一样直接显示所有权。可以结合 JFR(Java Flight Recorder,JVM 的事件录制工具)中与等待相关的事件、应用埋点、锁的观测 API 和业务栈定位。应先确认目标版本的事件究竟记录哪种等待,不能假定 Monitor 事件能直接覆盖 AQS 锁;也不要在高频路径持续调用昂贵的队列遍历方法。
等待线程很多并不一定表示某个线程永久持锁。短临界区在突发流量下也可能形成 lock convoy(锁队列效应):线程围绕同一把锁排队,锁交接中的唤醒、调度和重新等待可能增加开销,降低整体吞吐并放大尾延迟。此时多份 Dump 中持有者可能不断变化,需要统计一段时间内的等待与持有情况,而不是只寻找一个长期持锁的线程。
3. 长尾通常来自临界区变长
临界区变长会降低同一把锁处理请求的速度;但临界区耗时没有变化时,流量增加或请求集中到少数业务 Key(键)上,也可能让等待增长。要同时检查持锁耗时和竞争这把锁的请求量。常见排查方向包括:
- 持锁期间访问数据库、HTTP、文件或 DNS;
- 持锁期间日志同步落盘或序列化大对象;
- 临界区内触发类加载、缓存重建或大对象分配;
- 锁粒度覆盖多个无关 Key;
- 某个线程被调度暂停或遭遇长时间 GC 影响时仍持有业务锁;
- 公平锁或唤醒竞争改变吞吐与尾延迟分布。
公平锁倾向于按等待顺序分配获取机会,但公平不等于请求一定更快。它如何影响吞吐和尾延迟,需要在相同负载下比较。
因此“换成更快的锁”往往不是第一步。若证据指向锁内慢 I/O(输入输出)或不可控回调,优先重新划分临界区;移出操作时必须保留状态一致性,再判断是否需要分段锁、不可变快照或无锁状态替换。
4. 建立证据时间线
将下列指标按同一时间窗口对齐。P95 与 P99 分别观察第 95 和第 99 百分位的请求耗时;热点 Key 是访问集中、容易形成竞争的业务键。
- 接口 P95/P99 与超时数量;
- 锁等待次数、累计等待时间和最长等待;
- 持锁代码路径及临界区耗时;
- 同期 CPU、GC、下游延迟和线程池排队;
- 变更、流量和热点 Key 分布。
例如,先出现下游变慢,随后持锁耗时增加,再出现锁等待和接口 P99 上升,这条时间线可以支持“锁内下游调用放大排队”的假设;仍需用持有者业务栈确认慢调用确实发生在锁内。只看几个指标同时升高,不能确定因果方向。
JFR 可记录 Monitor 进入与等待等事件,但进入 Monitor 的竞争等待与 Object.wait() 的条件等待不是同一件事,需结合事件含义和栈区分。低于阈值的短事件可能不会逐个出现,事件配置也影响开销和证据完整性。不要用“录制中没有事件”直接证明不存在竞争。JDK 8 环境还应确认所用发行版是否提供 JFR,以及录制配置是否可用。
还要区分 JVM 暂停与业务持锁:Stop-The-World 指 JVM 暂停应用线程的阶段。线程持锁期间遇到这种暂停,从获取到释放锁的实际经过时间会被拉长,但修复点可能是垃圾回收(GC)或安全点相关的暂停,而不在业务计算本身。安全点(Safepoint)是 JVM 协调某些操作的机制;应将锁事件与 GC 暂停、安全点相关记录和对象分配速率放在同一时间轴分析。
5. 应用级埋点
显式锁可以分开记录等待和持有时间。下面是埋点位置示意,假设 lock 为显式锁,metrics 和 updateState() 由应用提供,片段不能独立运行:
java
long waitStart = System.nanoTime();
lock.lock();
long acquiredAt = System.nanoTime();
try {
metrics.recordLockWait(acquiredAt - waitStart);
updateState();
} finally {
metrics.recordLockHold(System.nanoTime() - acquiredAt);
lock.unlock();
}System.nanoTime() 的差值用于计算经过时间,单位为纳秒。示例的等待指标覆盖 lock.lock() 调用,持有指标覆盖获取锁后到记录持有耗时前的阶段,也包含等待指标记录本身的开销;它不是精确到解锁完成的全程测量。
此片段还依赖指标方法快速返回且不抛异常:recordLockHold() 位于 unlock() 之前,若它抛异常,解锁就不会执行。生产实现必须保证指标失败不会阻止解锁,避免诊断代码制造新的锁问题。
生产埋点应采样,并避免把高基数业务 Key 直接作为指标标签。高基数指标签可能有大量不同取值,会增加指标存储和处理成本。对 synchronized 可在临界区内部记录持有阶段,等待阶段则更多依赖 JFR、采样器或外层时间差近似;外层总耗时不能直接当作纯等待时间。
等待时间应从尝试获取锁前开始,持有时间应从成功获取后开始;只用一个耗时指标,会让“排队严重”和“临界区本身慢”无法区分。上面的 lock.lock() 没有超时获取分支;若实际代码采用带超时的获取方式,超时失败也必须计入等待指标和失败计数,但不能记作成功持锁。
锁的队列长度、hasQueuedThreads() 等值通常只是瞬时估计,适合诊断和趋势,不应参与需要精确原子性的业务决策。
6. 修复策略与风险
先根据证据决定要减少持锁工作、拆分竞争范围,还是改变读写状态的方式。不可变快照是构建新版本后整体替换,读者读取不再修改的版本;CAS(比较并交换)则仅在当前状态仍符合预期时更新,失败后可能需要重试。
| 策略 | 适用条件 | 风险 |
|---|---|---|
| 缩短临界区 | 锁内存在慢调用或无关计算 | 移出后必须重新证明状态一致性 |
| 按 Key 分段 | 热点彼此独立 | 热 Key 仍会竞争,分段表需治理 |
| 不可变快照 | 读多写少、允许整体替换 | 复制成本和旧快照内存 |
| 读写锁 | 读占绝大多数且读临界区有成本 | 写者延迟、从读锁升级为写锁的限制,以及实现复杂度 |
| CAS 状态替换 | 状态小、更新函数可重试 | 高竞争空转、副作用不可放入重试 |
分段后,无关 Key 可以减少相互阻塞,但同一热 Key 仍然串行。移出慢调用也不能简单删掉锁:应明确哪些状态必须一起检查和更新,以及锁外工作完成后如何处理状态已经变化的情况。锁选型分别见 16 - 读写锁与 StampedLock和 07 - CAS 与原子类。
7. 止损与验证
- 先限制触发热点锁的入口流量或隔离非核心任务;
- 为锁外的下游调用设置 Deadline(截止时间),限制等待预算;若仍存在持锁调用,还需检查其超时边界,不能仅靠锁外调用的截止时间约束它;
- 保留故障期 JFR、连续线程 Dump 和指标,再进行重启;
- 修复后对照均匀 Key 与热点 Key 两组负载,并加入慢下游和突发流量,识别整体平均值掩盖的单 Key 锁队列效应;
- 在可比的环境和负载下,同时比较吞吐、P99、CPU 和失败率,确认低等待是否伴随更多 CPU 消耗或失败。
以上是取证和回归验证建议,本文未执行这些测试,也没有提供性能测量记录。止损措施降低排队压力,最终仍需验证共享状态的正确性和请求耗时是否改善。
8. 总结
锁竞争排障要从“谁在等”追到“谁持有以及临界区为何变长”。
- 线程状态只能缩小范围,不能单独确定根因。
- 必须分开度量锁等待时间和持有时间。
- 优先缩短不可控临界区,再讨论更复杂的同步结构。
后续阅读:29 - 按 Key 串行化与分段并发讨论如何在证据支持下缩小互斥范围。