外观
05 - RPC 为什么不只是一次 HTTP 请求:从动态代理到字节流返回
摘要
RPC(Remote Procedure Call,远程过程调用)让业务代码通过方法调用请求另一个进程执行操作。调用 inventoryClient.reserve() 看起来像本地方法,但参数需要经过网络到达服务端,结果也要经过网络返回。本文先拆解这条往返链路,再解释连接复用、响应关联和超时清理,以及为什么超时不能证明库存扣减失败。
1. 场景:方法抛超时,库存却已经扣了
设想订单服务调用库存 RPC,200 ms 后得到超时异常,于是自动重试,库存库中却出现两条扣减记录。一种可能的过程是:第一次请求已经完成扣减,但响应没有在期限内到达客户端;重试又执行了一次扣减。
这里有两个不同的结果:服务端是否完成业务操作,以及客户端是否按时收到结果。超时只说明后者没有成功,无法单凭这个异常判断前者。理解 RPC 链路,就是要找出这两个结果可能在哪一步分离。
2. RPC 框架隐藏了哪些步骤
先看最基本的往返过程:客户端把方法名和参数变成请求,服务端找到对应实现并执行,再把结果变成响应返回。图中展示使用请求 ID 关联响应的一种模型;节点选择和连接获取没有单独展开。
图表将在阅读到此处时加载…
图中的组件各自负责一段转换:
- Stub/Proxy(客户端桩或代理):代替远程实现接收本地接口调用,把方法信息和参数交给通信层。代理可以由代码生成,也可以在运行时创建。
- Codec(编解码器):序列化是把内存中的参数或结果转换为可传输的数据,反序列化则把收到的数据还原为对象。
- Protocol(协议):约定双方如何解释消息,包括方法描述、状态码,以及消息边界和关联标识。
- Transport(传输层):管理连接,负责字节的写入和读取。
- Dispatcher(服务端派发器):根据请求中的服务和方法信息找到实现,再通过反射或生成代码调用业务方法。
- Pending Requests(未完成请求表):在图示模型中保存
requestId -> Future。Future 是代表“稍后完成的结果”的对象,收到响应后可完成它,让等待的调用取得结果。
把这些组件连起来,一次调用通常涉及以下步骤:
- 代理取得方法信息和参数,形成请求。
- 客户端确定服务地址。如果有多个实例,服务发现提供可用地址,负载均衡从中选择目标;地址也可以直接配置。
- 传输层取得连接。连接池用于复用已有连接,连接不足时可能需要等待或新建连接;协议和编解码器按约定生成可发送的消息。
- 服务端接收、解码并派发请求,业务方法执行后返回结果或错误。
- 服务端编码响应;客户端接收、解码并找到对应等待者,最终向业务代码返回对象或抛出异常。
HTTP 可以承载 RPC 消息,但 HTTP 请求本身并不自动定义远程方法和参数类型。RPC 还需要约定方法描述、类型兼容和错误映射。服务发现、重试与 Deadline 则是调用治理中的常见能力,是否启用取决于框架和配置。Deadline 表示调用必须完成的截止期限;它与“从某一步开始等待多久”的超时时长相关,但需要明确计时起点和覆盖范围。
3. 为什么必须有请求 ID 和消息边界
当多个请求复用同一条长连接时,请求 A 先发出,不代表它的响应一定先回来:服务端处理 A 可能比处理 B 更慢。因此,图示模型用请求 ID 把响应交给对应等待者,而不是按响应到达顺序匹配。其他协议也可能通过流标识完成关联,关键是关联规则必须明确。
响应关联之前,还要解决“哪些字节属于一条消息”。TCP 提供有序字节流,不保留应用每次写入的边界:一次读取可能只有半条消息,也可能包含多条消息。这通常称为粘包拆包问题。应用协议需要通过固定长度、带长度字段的消息头或分隔规则识别边界。
下面是一种示意帧格式。帧是协议规定的一条完整消息,不是 TCP 数据包:
text
magic | version | messageType | requestId | bodyLength | body其中 magic 用于识别协议,version 表示版本,messageType 区分请求与响应,requestId 用于关联,bodyLength 指定消息体 body 的长度。字段宽度、字节序和具体编码仍需双方约定,不能只凭这行格式实现互通。
对于这种带长度字段的协议,应先读取并校验消息头,再按合法长度读取消息体。如果直接按对端声明的超大长度分配内存,即使业务还没开始执行,也可能造成内存压力。因此,需要限制帧大小,并在按长度分配内存前验证字段。
4. 最小代理示例
下面的 Java 示例只演示动态代理入口:reserve() 被拦截后转换成 RpcRequest,再交给模拟传输方法。代码使用 record,适用于 JDK 16 及以上的常规编译环境;保存为 RpcProxyDemo.java。transportInvoke() 只打印方法名并返回 true,没有网络通信,也不会真正扣减库存或触发超时。
java
import java.lang.reflect.Proxy;
import java.time.Duration;
interface InventoryApi {
boolean reserve(String sku, int quantity);
}
public class RpcProxyDemo {
public static void main(String[] args) {
InventoryApi client = (InventoryApi) Proxy.newProxyInstance(
InventoryApi.class.getClassLoader(),
new Class<?>[]{InventoryApi.class},
(proxy, method, arguments) -> {
RpcRequest request = new RpcRequest(
method.getName(), arguments, Duration.ofMillis(300));
// transport.invoke 应负责序列化、发送、关联响应和超时清理。
return transportInvoke(request);
});
System.out.println(client.reserve("SKU-1", 1));
}
record RpcRequest(String method, Object[] arguments, Duration timeout) {}
static Object transportInvoke(RpcRequest request) {
System.out.println("send method=" + request.method());
return true;
}
}预期输出:
text
send method=reserve
true代理把方法名、参数和 300 ms 超时设置放入请求对象,但模拟传输方法没有使用这个超时设置。它返回的 true 被作为 reserve() 的结果,再由 main() 打印。这里的 300 ms 与开头场景的 200 ms 是两个独立示例。
动态代理只是入口。完整框架还要处理线程安全、泛型类型、异常协议、连接复用和取消传播。实际的方法定位也可能需要服务名和参数类型等信息,不能把这个仅记录方法名的请求对象当作完整协议。
5. 错误如何跨进程传播
服务端抛出 Java 异常后,客户端未必使用 Java,也未必有相同的异常类和版本。因此,不能假设异常对象可以原样跨进程传输。协议可以用稳定错误码、错误分类和有限诊断信息表达失败,再由客户端映射为本地异常或错误结果。下面是业务错误的示意消息:
json
{"code":"INSUFFICIENT_STOCK","retryable":false,"message":"库存不足"}INSUFFICIENT_STOCK 表示库存不足;在这个示例中,retryable: false 表示不应对同一请求直接自动重试。它是业务结果,与连接失败或等待超时不同,不能统一归为可重试错误。
把服务端完整堆栈直接返回客户端,会让调用方依赖服务端实现细节,也可能泄漏路径、SQL 和敏感参数。更合适的方式是返回受控信息,并通过 Trace ID(用于关联调用链记录的标识)检索服务端诊断日志,前提是两端正确传播和记录该标识。
6. 超时后的 Pending Future 必须清理
在维护 requestId -> Future 的模型中,未完成请求表让响应能找到调用者,也会持有等待对象及其关联数据。客户端超时后若一直不移除这些条目,随着超时请求积累,内存就无法及时释放。
响应到达、超时触发和连接关闭可能竞争处理同一个请求。框架需要保证只有一条路径决定最终结果,并完成状态清理,这就是这里所说的原子处理。迟到响应不能把已经超时的调用改成成功;连接关闭时,也需要结束该连接上所有仍在等待的请求,避免它们一直挂起。
取消本地 Future 只改变本地等待状态,不代表服务端停止执行。即使协议支持发送取消消息,取消也可能晚于业务执行或数据库事务提交,因而仍是尽力而为。
这解释了开头的重复扣减:请求 ID 解决的是“响应属于哪次调用”,幂等键解决的是“多次请求是否代表同一次业务操作”。有副作用的调用需要按业务规则识别重复请求,并提供结果查询能力;仅有请求 ID 和超时清理,不能避免重试导致的重复执行。
7. 容易踩的坑
- 把远程接口设计成细粒度 Getter(读取单个属性的方法)。先查询列表,再逐项调用远程方法,可能形成一次列表请求加 N 次明细请求,即 N+1 RPC;网络往返和下游负载会随条目数增长。
- 没有限制消息大小、反序列化类型和递归深度。
- 连接断开时只失败一个请求,遗留同连接上的其他 Future。
- 将所有异常都标记为可重试,导致业务错误反复执行。
- 服务端成功后响应丢失,却没有幂等键和结果查询。
8. 线上排查
排查时先确认超时计时从哪一步开始、覆盖哪些阶段,再沿调用链定位耗时:代理开始、连接池等待、请求写出、服务端接收、队列等待、业务执行、响应写出和客户端完成。队列等待是请求已经到达,却还没获得执行资源的时间,不能与业务执行耗时混为一谈。
同一连接上的请求 ID 未必在整个系统中全局唯一,关联日志时应结合连接或实例信息;跨服务排查则结合正确传播的 Trace ID。不同机器存在时钟偏差,不能直接相减两端日志时间来计算网络耗时,应结合调用关系和各端本地测得的时长。
- 客户端超时,服务端没有对应接收日志:检查服务发现、连接获取、请求写出和网关转发,同时确认日志是否完整。没有日志本身不能证明请求没有到达。
- 服务端已经完成,客户端仍超时:检查响应写回、客户端读取与解码、等待对象的关联,以及 Deadline 是否已耗尽。服务端写出响应也不等于客户端已经收到。
- 服务端接收后长时间未完成:区分队列等待、业务执行和下游调用耗时,找出实际消耗时间预算的阶段。
9. 总结
RPC 的价值是提供调用抽象,不是让网络拥有本地方法的确定性。
- 一次 RPC 包含代理、协议、编解码、传输、派发和响应关联。
- 多个请求复用连接时,需要明确的响应关联规则、消息边界和等待状态清理机制。
- 超时不能单独证明业务失败;有副作用的调用仍需幂等和结果查询能力。
下一篇:JSON、Protobuf 与 Hessian 怎么选:序列化背后的兼容性成本。