外观
34 - 日志都有 Trace ID,为什么还是找不到慢在哪里
摘要
一次请求经过网关、订单服务和数据库,日志里都带着同一个 Trace ID,却仍然看不出慢在哪里。原因是 ID 只能关联记录,不能自动记录每一步的开始、结束和等待时间。要区分连接池等待、线程排队和下游执行,需要为这些操作建立 Span,并把它们关联到同一条 Trace。
本文先介绍追踪的基本模型,再解释上下文如何跨线程和服务传播,以及消息队列、采样和数据采集的边界。OpenTelemetry 是用于生成、采集和导出遥测数据的一套 API、SDK 与工具;接入它之后,还需要配置插桩、数据导出和查询后端,才能获得可用的排障证据。
1. 三类信号
- Metrics(指标):统计请求量、错误率和延迟等,用来发现某个服务在某个时间窗口是否异常。
- Logs(日志):记录离散事件及其上下文,例如某次调用失败时的错误信息。
- Traces(链路追踪):记录一次请求涉及的操作、操作之间的关系和时间,用来定位耗时发生在哪一段。
排障时可以先从指标确定异常服务和时间窗口,再查看该窗口内的 Trace,最后通过 Trace ID 找到相关日志。关联时应对齐服务名、实例和时间窗口;日志可以携带 Trace ID,但不必让每条指标时间序列也带上请求级 ID。三类信号回答的问题不同,需要配合使用。
2. Trace 与 Span
Trace 表示一次请求或业务操作的端到端追踪,不等同于数据库事务。Span 表示其中一个有起止边界的操作,例如一次远程调用或一次数据库查询,记录开始时间、耗时、状态和属性。属性是操作的补充信息,例如目标服务或数据库类型。
同一条 Trace 中的 Span 共享 Trace ID,每个 Span 还有自己的 Span ID。子 Span 通过父 Span ID 表达它由哪个操作发起;根 Span 没有父 Span。这样,查询后端既能把操作归到同一条链路,也能还原调用关系。
下面以一次下单请求为例。RPC 是远程过程调用,DB 表示数据库,MQ 表示消息队列;箭头表达父子关系,不表示这些操作一定依次执行。
图表将在阅读到此处时加载…
如果只在入口生成 Trace ID,却不为连接池等待、RPC 和数据库建立 Span,仍看不到内部耗时分布。插桩就是在这些操作的边界记录追踪数据:记录的边界决定了能回答什么问题。如果数据库 Span 从获得连接后才开始,它的耗时就不能解释此前的连接池等待。
阅读时间线时,也不能直接把所有子 Span 的耗时相加。并行调用可能重叠,父 Span 的持续时间也可能包含子 Span 的耗时。父 Span 中没有被子 Span 覆盖的时间,需要结合日志、线程池和连接池指标继续定位,不能直接认定为业务代码执行时间。
3. Context Propagation
**Context Propagation(上下文传播)**解决的是“下一个操作如何知道自己属于哪条 Trace、由哪个 Span 发起”。在进程内,代码需要取得当前上下文;跨服务时,发送方把追踪上下文写入请求载体,接收方提取它,再据此创建后续 Span。仅在日志中打印 Trace ID,不会自动完成这条传播链。
W3C Trace Context 是追踪上下文的标准格式,使用 traceparent 等 HTTP 请求头传播 Trace ID、父 Span ID 和追踪标志等信息。Baggage 是随上下文传播的键值信息,与追踪标识不同。接收方不能盲信外部传来的所有属性;跨越信任边界时,应限制 Baggage 的大小和允许字段,并避免携带敏感数据。
线程切换也是传播边界。ThreadLocal 把数据绑定到当前线程,任务提交到线程池后,不会自动获得提交线程的上下文。下面是使用 OpenTelemetry Java Context 的局部片段:
java
Context captured = Context.current();
executor.execute(captured.wrap(() -> doAsyncWork()));片段需要导入 io.opentelemetry.context.Context,并已有 executor 和 doAsyncWork()。Context.current() 在提交任务前捕获当前上下文,captured.wrap(...) 使任务在该上下文中执行;它本身不会为 doAsyncWork() 新建 Span。若捕获时没有预期的追踪上下文,包装任务也不能补出缺失的调用关系。
API 以实际 OpenTelemetry Java 版本为准。自动插桩是在无需逐处手写追踪代码的情况下,为受支持的框架和库添加追踪逻辑;覆盖范围取决于所用版本和配置。自定义执行器和消息头仍需验证,尤其要检查任务执行时的 Trace ID 与父 Span 是否符合预期。
4. 消息队列链路
Producer(生产者)Span 通常记录消息发送操作,Consumer(消费者)Span 记录消息接收或处理操作,两者之间可能隔着较长的队列等待。生产者需要把追踪上下文写入消息头等元数据,消费者再提取它;仅在生产者进程中保留上下文,无法关联另一个进程中的消费操作。
消费者与生产者使用父子关系还是 Span Link(Span 关联),取决于批量、扇出和业务语义。Span Link 可以表达与其他 Span 的关联,而不把它们设为父 Span。例如一次消费处理关联多条消息时,单一父子关系未必能完整表达这些来源。具体关系和 Span 边界应按所用消息库及插桩约定确认。
还必须传播业务 Event ID(事件标识),用于识别同一个业务事件。Trace ID 用于追踪某次执行,Event ID 用于业务关联;采样或跨系统后 Trace 不一定完整,不能只靠 Trace ID 查找消息。事件标识也不能单独保证消费幂等,重复处理仍需业务机制控制。
5. Sampling
**Sampling(采样)**决定哪些追踪数据被记录或保留。全量采集和存储 Trace 会消耗应用、网络与存储资源,因此需要在证据覆盖范围和成本之间选择。
- Head Sampling(头部采样):在链路开始时决定是否采样,策略相对简单。但此时还不知道请求最后是否失败、耗时多长,被丢弃的请求可能恰好是后续故障请求。
- Tail Sampling(尾部采样):在收集端等待链路数据,再根据错误或延迟等信息决定是否保留。它更适合按请求结果筛选证据,但需要缓存数据并等待决策,增加收集端的资源需求。
Collector 是接收、处理和导出遥测数据的收集组件。尾部采样要有足够的相关 Span 到达决策组件,并受等待窗口和数据完整性限制,不能保证每次都拿到完整 Trace。若应用端的头部采样已经丢弃某条链路,尾部采样也无法恢复这些数据。
解释查询结果时必须考虑采样率和采样策略:没看到 Trace 不代表请求没发生,采样后的 Trace 数量也不能直接当作总请求量。错误和尾延迟的保留策略,应与用于统计整体请求情况的指标配合设计。尾延迟指延迟分布中较慢的那部分请求。
6. 高基数与敏感信息
**Metrics Label(指标标签)**用于按服务、接口等维度区分时间序列。高基数指某个维度有大量不同取值;标签组合越多,需要维护和查询的时间序列就可能越多。不要把 userId、orderId 直接作为指标标签,因为它们通常随用户或订单持续增加。
这些 ID 更适合受控的 Trace 或 Log 属性,但仍要评估隐私、存储和检索成本。Authorization、Cookie、完整 SQL 参数和消息 Body 默认不应采集,避免凭证和业务敏感信息进入遥测系统。
7. 容易踩的坑
- 异步任务丢失 Context:后续 Span 无法接到预期父 Span,查询时表现为链路断开或孤立操作。检查提交、执行和消息接收处的传播边界。
- 错误未设置 Span Status(状态):仅有错误日志时,按 Span 错误状态筛选可能漏掉该操作。应按操作语义和插桩约定记录状态及必要的错误信息。
- Span 名称包含具体 URL ID:每个订单都生成不同名称,会增加聚合维度。名称宜使用稳定的操作名或路由模板,具体 ID 放入受控属性。
- 只保留成功请求:排障所需的失败链路被过滤。采样策略应覆盖错误和慢请求,而不能只追求数据量小。
- Collector 故障阻塞业务线程:导出链路需要明确缓冲上限、超时和失败处理,避免遥测后端不可用时拖住业务请求;具体行为取决于导出配置。
- 日志、Trace 与指标时间未对齐:统一查询时间窗口和展示时区,并注意机器时钟偏差。跨机器的绝对时间不能未经校准就直接相减;定位耗时还要结合操作自身的持续时间和调用关系。
8. 总结
可观测性不是给日志加一个 ID,而是用 Span 把等待、执行和跨边界关系变成可查询证据。
- Metrics 发现异常,Trace 定位路径,Logs 提供细节。
- 上下文必须跨线程、RPC 和 MQ 显式传播并控制信任边界。
- Sampling 会影响证据完整性,策略需围绕错误和尾延迟设计。
下一篇:一次分布式接口超时的完整排查:从网关到数据库建立证据链。