外观
05 - Java 死锁的定位与消除
适用 JDK:JDK 8+。
前置阅读:04 - synchronized 的 Monitor 机制、06 - ReentrantLock 与 AQS。
摘要
接口长时间没有返回、CPU 也不高,可能是死锁,但这些现象本身不能证明死锁。排查的关键是找到等待环:线程各自持有资源,又等待环中其他线程释放资源,导致谁都无法继续。本文先用两把锁解释这个模型,再介绍线程快照、程序内检测和转账场景的修复方法。
1. 最小死锁示例
synchronized 要先获得锁对象关联的 Monitor(监视器),才能进入代码块;退出代码块时释放它。如果线程还持有第一把锁,就去等待第二把锁,而另一个线程按相反顺序操作,就可能互相卡住。
下面是完整的 Java 类,可用于 JDK 8+ 环境。它演示可能形成死锁的执行顺序,本文未编译运行。sleep(100) 是扩大交错机会的演示延迟,不是测量结果,也不能保证每次运行都发生死锁。
java
public class DeadlockDemo {
private static final Object LEFT = new Object();
private static final Object RIGHT = new Object();
public static void main(String[] args) {
new Thread(() -> {
synchronized (LEFT) {
sleep(100);
synchronized (RIGHT) {}
}
}, "left-to-right").start();
new Thread(() -> {
synchronized (RIGHT) {
sleep(100);
synchronized (LEFT) {}
}
}, "right-to-left").start();
}
private static void sleep(long millis) {
try { Thread.sleep(millis); }
catch (InterruptedException e) { Thread.currentThread().interrupt(); }
}
}一种导致死锁的交错顺序是:
left-to-right获得LEFT,right-to-left获得RIGHT。- 两个线程休眠时仍持有各自的 Monitor;
Thread.sleep()不会释放它们。 - 休眠结束后,前者等待
RIGHT,后者等待LEFT。 - 两者都必须先获得第二把锁,才能退出外层代码块并释放第一把锁,因此无法自行推进。
下图中的 A、B 分别对应这两个线程。如果某个线程在另一个线程获得第一把锁前就完成了两个代码块,本次执行则不会形成这个环。
图表将在阅读到此处时加载…
2. 死锁的四个条件
- 互斥:资源同时只能被一个线程持有;示例中的每个 Monitor 都有这一约束。
- 占有并等待:持有已有资源时继续等待新资源;两个线程都没有释放第一把锁。
- 不可剥夺:资源不能被外部强制抢走;其他线程不能直接夺走已被持有的 Monitor。
- 循环等待:线程和资源形成等待环;A 等 B 的锁,B 又等 A 的锁。
在这个资源模型中,四个条件同时成立才可能发生死锁;设计获取协议时,打破其中任意一个条件就能避免这类死锁。工程上常用统一锁顺序消除循环等待,或在业务允许时避免同时持有多把锁。带超时的获取方式则需要配合失败时释放已持有的锁,才能退出等待。
3. 用线程 Dump 定位
线程 Dump 是记录线程状态、调用栈和锁信息的快照。先确认目标 Java 进程的 PID(进程 ID),再在具备目标进程访问权限、可使用 JDK 诊断工具的环境中采集。下面的 <pid> 是占位符,需要替换成实际 PID;这些是命令示例,本文没有执行或采集输出。
bash
jcmd <pid> Thread.print
# 或
jstack <pid>HotSpot 检测到 Monitor 死锁时,输出尾部通常包含 Found one Java-level deadlock,并列出:
- 线程名与
nid; - 当前等待的锁对象;
- 该锁被哪个线程持有;
- 形成等待环的调用栈。
如果环境中已有 Arthas(Java 在线诊断工具),可用 thread -b 查找阻塞其他线程的线程。它提供的是排查线索;复杂锁问题仍应保存完整线程 Dump,继续核对等待关系。
3.1 如何读一个等待环
对每个可疑线程记录四件事:
- 线程名和
nid(HotSpot 输出中的本地线程标识,不是 PID); - 当前栈顶和业务入口;
waiting to lock/parking to wait for后的锁对象标识;locked或 ownable synchronizer 列表中已持有的锁。Ownable Synchronizer 指能记录独占持有线程的同步器,ReentrantLock是其中一种。
waiting to lock 是等待进入 Monitor 的线索;parking to wait for 表示线程被挂起等待,不能仅凭这一行认定它在等一把互斥锁,需要结合调用栈和持有者信息判断。
然后沿“线程 A 等锁 X → X 被线程 B 持有 → B 又等锁 Y”继续追踪,直到回到已访问线程。在上述锁资源模型中,确认闭环且各方无法释放资源继续推进,才能判定死锁。大量线程等待同一个仍在推进的持有者,更可能是锁竞争或锁内慢调用。
3.2 为什么要保留多份 Dump
死锁等待环通常在多次采样中保持不变,但栈不变也可能只是调用很慢,仍需核对等待环。如果持有者的栈在持续变化,则应优先考虑长临界区(持锁执行的代码范围)、下游慢调用或普通竞争。重启前至少保留:
- 间隔数秒的 3 份完整线程 Dump;
- 应用版本、JDK 版本、PID 与容器/节点信息;
- 当时流量、活跃线程、队列和超时指标;
- 最近发布、开关或配置变更。
4. 程序内检测
下面是检测片段,不能独立编译。需要导入 java.lang.management 包中的 ManagementFactory、ThreadMXBean 和 ThreadInfo,并放入方法体;本文仅做静态审阅。
java
ThreadMXBean bean = ManagementFactory.getThreadMXBean();
long[] ids = bean.findDeadlockedThreads();
if (ids != null) {
ThreadInfo[] infos = bean.getThreadInfo(ids, true, true);
for (ThreadInfo info : infos) {
System.err.println(info);
}
}ThreadMXBean 是查询线程管理信息的接口。findDeadlockedThreads() 可检测对象 Monitor 与 Ownable Synchronizer(如 ReentrantLock)形成的死锁,未发现时返回 null;getThreadInfo(ids, true, true) 请求相应线程信息以及持有的 Monitor 和同步器信息。可将检测用于监控告警,但不建议自动“杀线程”自愈,因为强行终止并不能恢复可能已部分更新的业务状态。
它不能检测所有形式的“彼此等待”,例如:
- 两个线程通过队列或 Future(代表异步任务结果的对象)等待对方的业务结果;
- 任务占满同一个小线程池的工作线程,又等待必须在该池执行的子任务;子任务无法获得执行机会;
- Java 线程持有本地锁后等数据库锁,另一请求持有数据库锁又等本地资源;
- 跨进程 RPC(远程过程调用)形成的调用环。
这些问题需要把线程 Dump、线程池、调用链和数据库等待图合并分析。数据库内部死锁见 数据库 20 - 死锁定位与修复。
5. 正例:统一锁顺序
转账通常需要同时保护转出和转入账户。若总是先锁 from 再锁 to,A 向 B 与 B 向 A 两笔转账就可能按相反顺序获取锁。下面改为按账户 ID 排序,无论转账方向如何,都先获取 ID 较小账户的锁。
这是业务方法片段,省略了 Account 定义和金额、余额校验。前提是排序用的 ID 稳定,且同一账户在这些访问路径中使用同一个锁对象;withdraw()、deposit() 及其他相关路径也必须遵守一致的锁协议。示例只展示锁顺序,不保证转账异常时自动回滚。
java
public static void transfer(Account from, Account to, long amount) {
Account first = from.id() < to.id() ? from : to;
Account second = from.id() < to.id() ? to : from;
synchronized (first) {
synchronized (second) {
from.withdraw(amount);
to.deposit(amount);
}
}
}所有线程都按同一顺序获取锁,就不会出现“持有较大的锁,再等待较小的锁”这条反向依赖,从而消除这种循环等待。
如果两个不同对象的 ID 可能相同,上面的比较就不能提供一致顺序:交换 from、to 后,仍可能先锁不同对象。此时需要平局锁,即在排序键相同时先获取一把公共锁,再获取两个账户锁;或在业务上禁止两个不同对象共享同一排序键。锁顺序必须是全局一致的协议,不能只修一个方法,也要检查锁内调用是否会获取其他锁。
6. 带超时的获取
ReentrantLock 的带超时 tryLock 可以限制一次等锁的时间:获得锁返回 true,超时未获得返回 false。下面是局部片段,假设两把锁已定义为 ReentrantLock,已导入 java.util.concurrent.TimeUnit,且所在方法处理或声明 InterruptedException。transfer() 代表业务操作,不是上一节带参数方法的直接调用。
java
if (firstLock.tryLock(100, TimeUnit.MILLISECONDS)) {
try {
if (secondLock.tryLock(100, TimeUnit.MILLISECONDS)) {
try {
transfer();
} finally {
secondLock.unlock();
}
}
} finally {
firstLock.unlock();
}
}第二把锁获取超时后,程序会进入外层 finally,释放第一把锁,让其他线程有机会继续。只有获得过的锁才会被解锁;两把锁都获得后才执行业务。这里的 100 毫秒是示例等待参数,不是性能记录,两次获取各自计时,也不限制 transfer() 的执行时间。
片段在获取失败时直接跳过业务,没有向调用方返回失败信息。实际接口需要明确区分超时、中断和业务异常,并选择返回失败、重试或降级(采用替代处理方式)。
超时不会自动解决活锁:多个线程不断同时失败、释放、重试,虽然仍在运行,却无法完成业务。应限制重试次数,并采用抖动退避,也就是失败后等待一段带随机变化的时间再重试,减少线程反复同步碰撞的机会。重试前还要确认业务能否安全重复执行。
7. 止损与修复验证
已发生死锁的 Java 线程通常无法靠普通中断安全解开,特别是等待进入 synchronized Monitor 时,这种等锁不会因中断而退出。可中断的显式锁等待也需要代码正确处理中断并释放已持有的锁,不能仅靠发送中断保证恢复业务。完成现场保留后,常见止损方式是隔离实例、摘流(停止向该实例分发新请求)并重启,而不是在进程内强行终止单个线程。
修复后不能只跑一次原始用例,还应:
- 用 A - Java 并发代码测试方法中的方法,构造相反转账方向的并发调用,检查所有路径是否仍遵守统一锁顺序,并覆盖异常路径;
- 验证超时失败时不会留下部分业务更新;
- 进行长时间压测,检查是否将死锁变成高频重试活锁;
- 为锁等待时间、超时和任务队列建立告警。
8. 容易踩的坑
- 只看 CPU:等待中的死锁线程通常不消耗 CPU,低 CPU 不能排除死锁,也不能证明死锁。
- 为了“安全”层层嵌套锁:增加锁之前,先检查与已有锁的获取顺序是否一致。
- 锁内调用未知回调:即使当前方法顺序正确,回调获取其他锁也可能引入反向依赖。
- 把释放锁当成业务回滚:超时或异常后,还要检查已经发生的业务修改能否恢复。
9. 总结
死锁的根因是资源获取协议形成了环,而不是某一把锁“太慢”。
- 先保存完整线程 Dump,再对照等待锁和持有者。
- 统一锁顺序是解决嵌套锁的首选手段。
tryLock需要配合超时、有界重试和失败策略。
阅读导航
- 锁实现原理:06 - ReentrantLock 与 AQS
- 线上锁竞争:25 - Java 锁竞争与长尾延迟排查
- 线程 Dump 实战:14 - Java 进程 CPU 飙高排查