外观
B - Arthas:有界观测、表达式风险与清理验收
命令说明参考 Arthas v4.3.5 官方文档,不作为最新版本清单。旧 3.x 与其他发行版的选项和行为,以目标工具的 version、命令 -h 及对应版本文档为准。
阅读指引
- 本文定位:工程闭环的可选方法观测分支,围绕精确匹配、有界增强、表达式风险与清理验收展开;不把在线改代码当成归因方法。
- 前置阅读:07 JVM 排障明确目标和预算,03 类加载确定类型身份,09 类文件与字节码明确方法契约。
- 后续阅读:证据支持资源或策略瓶颈时读 08 JVM 调优;证据不足则返回 07补充分诊,不因工具可用而扩大增强范围。
- 学习目标:能给出匹配对象、时间/数量预算及清理步骤,区分 quit、reset、stop 的效果;理解 tt 对象保留与重放副作用,以及 monitor 与延迟分位数的差别。
摘要
Arthas 是附加到正在运行的 Java 进程中的诊断工具,可以查看线程、已加载的类和方法调用。先用读取状态的命令缩小范围,再按问题选择方法观测命令:watch 看参数和结果,trace 看方法内部调用,stack 看调用者,monitor 看一段时间内的调用统计。
方法观测通常通过字节码增强实现,即在方法执行路径中加入诊断逻辑。无需重启应用,并不意味着没有运行成本。表达式语言 OGNL 可以读取字段,也可以调用方法;tt 可以保留调用相关对象的引用,重放则会再次执行业务。因此,一次观测要同时确定目标、输出数量、持续时间和清理步骤。
1. 现象:诊断可能制造新故障
设想三个教学场景:watch 匹配了大量方法并展开大对象,输出和 CPU 消耗随之增加;tt 记录了大请求,退出客户端后对象仍被缓存引用,不能被回收;为了复现支付问题执行 replay(重放),方法再次运行,可能产生第二次业务写入。这些操作都需要事先限定范围,并考虑对象保留和业务副作用。
Attach 是工具附加目标 JVM 的机制;Agent 是加载到 JVM 中的诊断代理。方法观测可通过 retransformation(重新转换已加载类的字节码)加入 advice,即在方法事件发生时执行的诊断回调。这些回调会进入应用线程的执行路径,消耗时间和资源。
字节码变化还可能使 JIT(即时编译器)生成的机器码失效或重新编译。因此,要区分首次增强阶段的耗时与稳定运行后的方法响应时间(RT)。实际成本取决于方法、调用频率、表达式和工具版本,不能保证只有轻微开销。
2. 入口:先核验身份、安全与目标
先用 07确认 PID(进程标识)、运行用户、命名空间(namespace)、JDK 和 attach 能力。命名空间会影响工具能看到哪些进程和文件,容器内外的标识不能直接混用。以下是操作系统终端中的命令,PID 须替换为已确认的目标进程标识;仅使用来源可信、已经核验的本地安装包:
bash
java -jar arthas-boot.jar --help
java -jar arthas-boot.jar PID启动器 arthas-boot.jar 可能下载或选择发行包,应固定版本并核验来源、校验值和网络策略;不要直接在生产执行远程脚本。附加前还要检查实际版本支持的监听地址、HTTP/Telnet 端口与认证配置:诊断接口能执行命令,仅使用默认端口或部署在内网不能替代鉴权。未确认访问控制时不附加;公网 Tunnel(远程连接通道)和 Starter(应用集成组件)的常驻部署需要另行评估。
进入会话后先执行 version、help,对要用的命令执行 -h。jdk.attach.allowAttachSelf 不是外部附加的通用开关;禁止 attach 或权限不足时,不自动修改生产策略。容器调试环境也不天然具备正确的进程命名空间(PID namespace)、挂载命名空间(mount namespace)和用户标识(UID)。
3. 无增强优先:线程、类型与方法
基础入口:用诊断问题理解命令分工
先把问题缩小到进程、线程、类或方法,再决定是否需要增强。读取状态的命令可以帮助确定观测目标;只有现有信息不足以回答方法级问题时,才加入方法观测。无增强也不代表零开销,仍需限定采样和输出范围。
| 你的问题 | 先选命令 | 为什么 |
|---|---|---|
| 进程整体情况如何 | dashboard、jvm | 先看线程、堆与运行环境,不立即增强业务方法 |
| 哪些线程是 CPU 或等待候选 | thread | 得到线程及其栈,后续再关联业务时间线 |
| 线上实际加载了哪份类 | sc -d、classloader | 先核对来源和加载器,避免观测另一份同名类 |
| 方法有哪些签名 | sm -d | 确认重载与真实方法,不凭源码猜测匹配 |
| 入参、返回值或异常是什么 | watch | 观察某次调用的选定数据,需控制敏感字段 |
| 方法内部慢在哪里 | trace | 看被增强方法的相关调用路径,不等于分布式链路 |
| 是谁调用了这个方法 | stack | 看调用者栈,与 trace 的内部路径方向不同 |
| 一段时间内调用成功率和平均耗时如何 | monitor | 汇总方法调用,不提供完整请求 P99 |
第一次只做 version → sc -d → sm -d,看懂类来源和签名即可。确有方法级问题后,再按第 4 节选择 watch 或 trace;tt、OGNL 调用和热更不是入门必做项目。第 7 节提供没有外部业务副作用的本地靶程序。
3.1 基础观测命令
text
dashboard -n 3
thread -n 3 -i 1000
thread --state BLOCKED
sc -d demo.ArthasTarget
sm -d demo.ArthasTarget compute
classloader -t这些命令在 Arthas 会话中执行。dashboard 查看整体状态,thread 查看线程,sc 搜索已加载类,sm 搜索方法,classloader -t 展示加载器树。-n 的含义取决于命令,dashboard 的采样次数与 watch 的输出次数不是同一指标。
3.2 thread 的观测边界
thread -n 根据采样窗口内的线程 CPU 时间寻找候选,线程栈通常取自窗口结束时。CPU 时间反映一段时间内的消耗,栈只反映取样瞬间的位置,因此不能据此证明线程在整个窗口都执行同一方法。Java、操作系统和 Arthas 的线程标识及内部线程支持要按版本解释,不能把输出的 ID 直接当作操作系统 top 中的 TID(线程标识)。
BLOCKED 表示线程正在等待进入对象监视器(monitor,即 synchronized 使用的同步机制),这里的 monitor 与 Arthas 的同名统计命令含义不同。正常的短时等待也会出现该状态;只有结合持锁者、等待时间和依赖关系,才能判断是否存在有害竞争或锁环。
thread -b 针对监视器阻塞关系寻找候选,不保证覆盖 ReentrantLock、AQS(构建锁等同步器的排队框架)、线程池饥饿、虚拟线程的载体线程问题或所有死锁。应结合重复线程快照(dump)、JFR(Java Flight Recorder,事件记录工具)、锁持有者依赖链和业务等待时间交叉验证,见并发 25。
3.3 sc/sm/loader 与代理边界
先用 sc -d 查看已加载类、code source(代码来源)和 classLoaderHash,再用 sm -d 核对方法签名。方法签名用于区分方法名及参数等信息;同名方法可能存在重载。同名类也可能由不同类加载器(loader)分别定义,若只按类名匹配,就可能观察到另一份类。classLoaderHash 是当前进程内的加载器诊断标识,不是部署版本,也不是跨进程稳定 ID。
代理对象会在业务调用前后加入额外处理。JDK 动态代理(JDK Proxy)不是业务实现类的子类,CGLIB 类代理的类型和命名也随版本改变。观测接口、实现类或代理类,观察到的是调用链上的不同位置,应根据实际调用链选择,不能普遍规定“接口 watch 永远不匹配”。jad 将字节码反编译成近似源码,不能单独证明源码版本,也不能证明字节码未被 Agent 改写,见Spring 09与 03。
4. 方法观测:匹配、事件、预算都要明确
基础速查:先分清入参、返回、内部路径与调用者
这些命令回答的方向不同,不应把它们当成可以互换的“慢方法工具”:
text
调用者 ──调用──→ 目标方法 ──调用──→ 子方法/外部依赖
↑ stack ↑ watch ↑ trace 的相关内部路径
↑ monitor 汇总匹配方法调用| 命令 | 主要观察 | 第一次使用应核对 |
|---|---|---|
| watch | 选定事件下的参数、返回值或异常 | params 是参数数组;returnObj 是返回值;throwExp 是异常,按事件选择可用数据 |
| trace | 目标方法内相关调用路径及耗时 | 不自动递归展开全部调用,也不自动合并跨线程或下游请求 |
| stack | 谁调用了目标方法 | 这是调用者方向,不是目标内部每个子调用的耗时 |
| monitor | 一段时间内匹配调用的次数、成功/失败及平均 RT | 方法调用不一定等于请求数,平均 RT 不是 P99 |
例如接口返回 Future(异步计算结果)时,方法正常返回可能只是任务提交成功,后续业务仍在其他线程执行。后续异常也未必从这个方法同步抛出,因此 watch 和 monitor 的结果要按所选方法的边界解释。
下面的命令只针对第 7 节教学程序的 compute 方法,分别限制匹配类数、输出次数或统计周期。先查看对应命令的 -h,再将 HASH 替换为 sc -d 确认的加载器标识。
第一次操作可以只选第一条正常返回的 watch:先启动第 7 节靶程序并附加,再用 sc -d demo.ArthasTarget 找到 classLoaderHash,把下面的 HASH 替换为它。若观察到输入 4,正常返回应为 16;具体先捕获哪个输入取决于附加时机,不要求从 0 开始。
这条表达式只选第一个参数与返回值,-s 选择正常返回事件,-x 1 限制展开深度,-n 3 在取得三个匹配结果后结束观测。靶程序结束前若没得到三个结果,就主动终止命令并按第 6 节清理;不要为了凑输出扩大匹配到全部业务类。理解这一条后,再分别学习异常 watch、trace 和 monitor。
text
watch -c HASH -m 1 demo.ArthasTarget compute '{params[0],returnObj}' -s -x 1 -n 3
watch -c HASH -m 1 demo.ArthasTarget compute 'throwExp.getClass().getName()' -e -x 1 -n 1
trace -c HASH -m 1 demo.ArthasTarget compute '#cost > 5' -n 3
stack -c HASH -m 1 demo.ArthasTarget compute -n 3
monitor --classloader HASH -m 1 -c 5 demo.ArthasTarget compute -n 2- watch 的 -b/-s/-e/-f 区分入口、正常返回、异常返回和结束;入口没有最终 returnObj,参数也可能在方法内变化。表达式用
{...}构造列表,不拿'params[0], returnObj'保证输出两个字段。 - monitor 的 -c 是统计周期,loader 用 --classloader,不能把所有命令的 -c 都写成同一用途。
sm -d用于查看重载与签名;方法名匹配可能覆盖多个重载,-m限制的是类数,不是重载数。若某个重载没有第一个参数,params[0]就不适用,因此条件表达式必须适配所有被匹配签名。- 条件
#cost > 5过滤输出,不保证其他调用完全没有增强/测量成本;-n 限制匹配结果,若条件长期为 false,命令可能继续驻留,必须另设人工/会话时间截止。 - -x 控制对象展开深度,不保证对象图总字节或输出成本严格有界。不要展开凭证、请求全体、容器或大型集合;getter/toString/OGNL 调用可能有副作用。
4.1 trace 不是完整分布式请求追踪
trace 展示被增强方法的调用路径与相关节点耗时,默认并不自动递归展开所有子方法;可按版本增加更深观测,必须控制新的增强范围。JDK 方法跳过与支持范围按实际 help;--skipJDKMethod false 不表示所有 JDK/本地调用可追踪。
异步提交后的其他线程、下游服务以及 Future 或 Publisher(响应式数据发布接口)的后续工作,不会自动合并到一次入口 trace。入口方法的返回耗时可能只是提交任务的时间。要判断请求何时真正完成,应结合分布式追踪中的 trace/span(整条链路及其中的操作片段)、队列和任务生命周期,以及同一时间窗口的指标;tt 也不能自动串起跨线程链路。
4.2 monitor 不是延迟分位数
monitor 汇总 total(总调用数)、success(正常返回数)、fail(异常返回数)、平均 RT 和 fail-rate(失败比例)。平均值把所有匹配调用的耗时汇总后求平均;P95/P99 则是耗时的第 95/99 百分位,反映较慢调用,不能由平均值直接得到。该输出也不提供最大 RT 或完整请求 QPS(每秒请求数)。
统计单位是匹配的方法调用。一次 HTTP 请求可能触发重试或多次内部调用,异步处理也可能在方法返回后继续,因此调用数不一定等于请求数。返回业务错误码却没有抛出异常的方法,在这里仍可能被计为成功。
5. 进阶选读:tt 与 OGNL 的对象保留和业务副作用
tt(Time Tunnel,调用记录工具)把目标对象、参数、返回值等引用保存在 TimeFragment 缓存中。引用仍指向原对象,并非把对象及其关联数据复制成不可变快照。对象后来被修改时,查看记录可能看到修改后的状态;少量记录也可能通过引用链保留大量对象,使其无法被回收。
记录不会完整冻结 ThreadLocal(线程局部上下文)、事务、安全上下文或外部数据库状态,因此不能把它当成历史请求的完整现场。
仅在本篇纯计算演示或明确获准的隔离环境记录:
text
tt -c HASH -m 1 -t demo.ArthasTarget compute -n 2
tt -l退出采集后,用 tt -l 列出记录,按输出中的实际 INDEX(记录索引)选择条目,不能把索引 1000 理解为第 1000 次请求。以下清理命令中的 INDEX 须替换为目标索引;--delete-all 删除全部记录,只能在确认没有其他会话依赖这些记录后使用:
text
tt -d -i INDEX
tt --delete-alltt -i INDEX -p 会在 Arthas 的调用环境再次执行方法,不是无副作用读取;ThreadLocal 信息可能缺失,也可能绕过原代理/拦截链。支付、库存、发消息等不要为了排障直接 replay;必须先证明隔离、幂等、权限和外部依赖状态,正常重试机制也不等价于 tt。
ognl 执行表达式,getstatic 读取静态字段,vmtool 提供实例查询等能力;使用其中的表达式时,不能只按“看字段”评估影响。表达式可以调用方法、创建对象、改变状态,甚至阻塞。修改 final 常量不可靠,还可能与编译时内联的值不一致。
Spring 的 ApplicationContext 是管理 Bean 的应用上下文,RequestContextHolder 用于访问与线程关联的请求上下文。诊断线程不等于原请求线程,通过这些对象执行表达式,不能自动还原原请求的事务、权限和上下文。观测 Bean 前,应核对加载器、代理位置和实例查询影响;在线修改 Bean 需要独立的变更方案。
6. 高影响能力与清理语义
| 能力 | 主要边界 |
|---|---|
| heapdump / vmtool 查询 | 堆扫描/可达性、GC、停顿、文件和敏感数据;按 07获准后再用 |
| profiler/JFR | OS/架构、事件和采样权限;CPU 与 wall-clock 不能混解释;下文靶程序结果不包含 profiler 采样 |
| logger/sysprop/vmoption | 可能写配置,记录原值与精确作用域;恢复原值,不一律“改回 INFO” |
| mc/redefine/retransform | 修改运行代码,版本、loader、结构约束、Agent 相互影响;正式发布与回滚路径必须独立 |
mc 用于内存编译,redefine 和 retransform 可以改变运行中的类内容。它们属于在线代码变更,不能仅按“加一行日志”评估风险:支持的类结构变更受 JVM 限制,同一进程也可能存在其他 transformer(字节码转换器),相互影响需要考虑。
stop 和 reset 不会自动恢复用 redefine 或 retransform 加载的类内容,也不会撤销数据库或其他外部副作用。因此,在线热更必须有独立的正式发布和回滚路径,不作为这里的方法观测练习。
6.1 结束命令、还原增强、退出服务分别验收
客户端会话、观测任务、增强后的类和保留的调用记录有不同的生命周期。关闭终端只处理了连接,并不能证明其余资源已经释放。清理应逐项确认:
- 到数量/时间截止,终止前台观测,检查本会话后台 job(jobs/kill 语法按 help),不干扰其他诊断者。
- 确认 tt 缓存及其他保留记录已按授权清理;不能认为退出客户端会自动清空。
- 确认需要恢复的增强范围,reset 按类匹配;广泛 reset 会影响其他会话,不宣称可无损按 loader 精确 reset。
- 恢复手工改动的日志等级/属性,核验原值及业务指标。
- 在确认所有会话可以结束后 stop,关闭 Arthas 服务端并重置普通观测增强;核验端口/任务状态。quit 只退出当前客户端,其他客户端与服务不因此停止。
不能宣称 stop 移除所有曾注入的类/Agent 痕迹,也不能把 reset 当热更事务回滚。清理后 CPU/延迟恢复只是证据之一,要保留变更与清理日志。
7. 验证靶程序:有限、无外部业务副作用
保存为 demo/ArthasTarget.java,兼容 JDK 8/17。程序先等待 5 秒,为附加工具留出时间,再对 0 到 49 各调用一次 compute,累计平方和。每次计算前睡眠 10 毫秒,调用后再睡眠 500 毫秒,因此正常流程约需 30 秒;启动、线程调度和观测开销可能延长实际时长,不能将其当作严格超时上限。程序固定调用 50 次,不访问外部业务系统,也不输出敏感业务数据。准备附加工具期间可按需重新运行本地靶程序,不改成无界线上循环。
java
package demo;
public final class ArthasTarget {
public static int compute(int value) throws InterruptedException {
if (value < 0) {
throw new IllegalArgumentException("negative value");
}
Thread.sleep(10);
return value * value;
}
public static void main(String[] args) throws Exception {
System.out.println("runtime=" + System.getProperty("java.runtime.version"));
System.out.println("process="
+ java.lang.management.ManagementFactory.getRuntimeMXBean().getName());
Thread.sleep(5000);
long checksum = 0;
for (int value = 0; value < 50; value++) {
checksum += compute(value);
Thread.sleep(500);
}
System.out.println("checksum=" + checksum);
}
}bash
javac demo/ArthasTarget.java
java -Xms32m -Xmx64m demo.ArthasTarget预期输出包括运行时版本、进程标识,以及 checksum=40425,随后正常退出。校验值是 0² + 1² + … + 49² 的结果。正常循环只传入非负数,不会触发 -e 异常观测示例;若要观察异常,需单独设计隔离调用,不能期待每条命令都会自然产生输出。
使用可信工具包对隔离靶进程练习:version/help → sc/sm → 有限 watch/trace → 核对 matched class/method 与数据 → 清理/stop;比较未增强与增强后的相同工作与预算。Java 靶程序运行成功不等于 Arthas 端到端验证,仍需实际附加、观测和清理。
阅读导航
前置 07明确取证目标,03/09明确类型和方法。观测与清理验收后,若证据支持资源/策略假设,再进入 08设计单因素实验;否则回到分诊,不靠在线改代码替代归因。
实验结果与参考资料
实验环境:Windows x64 10.0.26200、i7-10700(16 逻辑 CPU),用 OpenJDK 17+35-2724 与 Oracle 1.8.0_191-b12 对应 javac 编译并按正文参数运行 demo.ArthasTarget,两版 checksum=40425、正常退出。这只验证 Java 靶程序,不是 Arthas 端到端验证。
上述 Java 靶程序结果不包含 Arthas attach、watch/trace/tt、heapdump、profiler、Starter/Tunnel 或热更的执行结果。命令语义以官方文档为依据;在目标环境使用时,仍须通过 version/help 核对选项,再验证匹配范围、观测结果与清理效果。
名词解释
| 名词 | 本文中的含义 |
|---|---|
| 字节码增强 | 在适用类或方法的执行路径加入诊断逻辑,会改变运行成本。 |
| advice | 观测方法时执行的诊断回调,不能假定对应用完全无影响。 |
| OGNL | 表达式语言,可以读取数据也可以执行调用,不是纯文本过滤器。 |
| classLoaderHash | 工具在当前进程内识别加载器的诊断标识,不是部署版本号。 |
| tt / TimeFragment | 记录调用关联引用的机制,不是对请求上下文和外部状态的完整快照。 |
| quit / reset / stop | 分别退出客户端、恢复适用观测增强、停止服务;不等于统一撤销全部副作用。 |