外观
06 - JSON、Protobuf 与 Hessian 怎么选:序列化背后的兼容性成本
摘要
两个服务能读懂同一种格式,不代表它们能正确理解同一条消息。字段类型、金额单位和缺省值只要约定不同,就可能在发布时出错。本文先解释序列化如何连接两端的数据模型,再比较 JSON、Protobuf 与 Hessian 的选型条件,最后说明如何验证新旧版本兼容。
1. 场景:发布新字段后,旧实例开始反序列化失败
设想一次滚动发布:新客户端在增加字段的同时,把 amount 从整数改成字符串,而旧服务端的解析规则仍要求整数。滚动发布是逐批替换实例,因此新旧版本会同时存在;部分请求落到旧实例后,就可能反序列化失败。若负载均衡把请求分配给不同版本,错误率便可能随流量分配波动。
即使各版本的单元测试都通过,也无法排除这种问题:新代码读新消息、旧代码读旧消息都正常,却没有测试“新客户端发消息,旧服务端读取”。兼容性要验证的是不同版本之间能否通信,以及读出的数据是否仍有相同业务含义。
2. 序列化解决什么
内存对象不能直接通过网络交给另一个进程。序列化把对象中的数据编码为可传输或存储的字节;反序列化则按接收方的规则,从字节中构造数据或对象。它恢复的是协议表达的数据,不是发送方进程里的对象身份。
以订单消息为例,双方至少需要约定三层内容:
- 编码格式:字节怎样表示字段和值,例如 JSON 文本或 Protobuf 二进制消息。
- 数据结构:有哪些字段、各是什么类型、缺失时如何处理。Schema(数据结构定义)用于描述这些约束,可以写在独立定义文件中,也可以由接口文档和程序类型共同表达。
- 业务语义:
amount是元还是分,status的各个值是什么意思。格式本身不能替双方决定这些含义。
两端使用不同语言或不同版本时,真正困难的是这三层约定是否仍然一致。能解析消息只是第一步;金额单位读错而没有报错,同样是兼容性问题。
| 格式 | 特点 | 常见适用场景 |
|---|---|---|
| JSON | 文本中包含字段名,便于直接阅读;业务类型需另行约定 | HTTP API、调试、不同技术栈之间的接口 |
| Protobuf | 使用 Schema 和字段编号编码二进制消息 | 高吞吐 RPC、跨语言协议,双方能共同维护定义并生成代码 |
| Hessian | 二进制格式,Java RPC 生态中常见 | 已采用 Hessian 的 RPC 体系,需检查框架、库版本和类型映射约束 |
Hessian 选型不能只看“双方都是 Java”。框架如何把类映射到消息、接收方是否需要相应类定义,以及类名、字段和集合类型变化后如何处理,都会影响互通。跨语言使用时,也需要核对双方实现对业务类型的映射。已有 Hessian RPC 体系可以先验证这些约束;新接口则应同时考虑可读性、结构定义的维护成本和跨语言需求。
性能结论依赖库版本、对象结构、JIT(运行时即时编译)、消息大小和基准方法,不能脱离环境断言“固定快几倍”。Java 项目可用 JMH(Java 微基准测试工具)比较真实数据模型的编解码成本,再用端到端测试观察包含网络和业务处理的整体结果。消息体积、内存分配量和尾延迟也要一起比较;尾延迟指少数较慢请求的耗时表现,平均值可能掩盖它。
3. JSON 的灵活与歧义
JSON 字段名直接出现在消息中,便于查看消息内容和排障。不过,“包含字段名”不等于“包含完整类型约束”:JSON 有字符串、数字等基本值类型,却没有统一规定业务层日期、十进制、枚举和大整数语义。
新增可选字段通常较容易,前提是旧接收方允许忽略未知字段,新接收方也能处理旧消息中缺失的字段。若解析库配置为遇到未知字段就报错,或者新代码把新增字段当成必填,新增字段仍会破坏兼容。
json
{"orderId":"9007199254740993","amount":"12.30","status":"PAID"}示例把订单 ID 和金额写成字符串。把大整数作为 JSON 数字交给使用 JavaScript Number 的接收方,可能损失精度;用二进制浮点数处理十进制金额,也可能产生舍入问题。协议应明确选择字符串、整数最小货币单位或 Decimal(十进制定点或任意精度数值类型),并约定双方如何解析和计算。例如用整数表示金额时,必须同时约定币种和单位,不能只写“整数”。
4. Protobuf 为什么依赖字段编号
下面是消息结构片段,需放入完整的 .proto 文件,并选定语法版本和对应工具链生成代码:
proto
message Order {
int64 id = 1;
string status = 2;
int64 amount_cent = 3;
}Wire Format(线上传输的字节编码规则)用字段编号和 wire type 标识字段,后者决定值以哪类编码方式存放,并不等同于完整业务类型。接收方结合 Schema 才能把编号对应到字段及其含义。因此,字段重命名通常不影响 Protobuf 二进制消息,但生成代码的接口和依赖字段名的 JSON 表示仍可能受影响。
删除字段后不能复用编号:旧消息仍可能带着这个编号到达,新代码若把它分配给另一字段,就可能把旧值解释成新含义。即使能够解码,也不代表数据正确。
删除 status 后,可通过 reserved 保留其编号和名称,防止后续定义误用;新字段 state 使用新编号:
proto
message Order {
int64 id = 1;
reserved 2;
reserved "status";
int64 amount_cent = 3;
string state = 4;
}这段定义只展示编号和名称的保留方式,并没有自动把 status 的值迁移到 state。旧消息没有编号为 4 的字段,旧接收方也不会把编号 4 当作编号 2。若两者承担相同业务功能,发布过程还需安排过渡期的字段读写规则,并测试缺失值的处理,不能仅凭 reserved 判断升级兼容。
未知字段是当前 Schema 没有定义、消息中却携带的字段。它们在不同语言、运行时和转换路径中的保留行为应按实际 Protobuf 版本验证,不能假设永远原样透传。尤其是消息经过中间服务读取、重建或转换为 JSON 后,需要检查新增字段是否还能到达最终接收方。
5. 兼容性矩阵必须进入测试
兼容性矩阵把发送方和接收方的新旧版本交叉组合,避免只测试同版本通信。至少验证:
text
旧客户端 → 旧服务端
旧客户端 → 新服务端
新客户端 → 旧服务端
新客户端 → 新服务端
新版本写入的数据 → 旧版本读取每组测试都应检查能否解析、缺失字段如何处理、未知字段是否需要保留,以及金额和状态等业务值是否正确。重点覆盖新增、删除、类型变化和未知枚举值,不能只断言“没有抛异常”。持久化场景还应测试旧版本写入的数据能否被新版本读取。
兼容窗口是新旧协议必须能够共存的时间。消息仅用于短暂 RPC 时,这个窗口可能接近滚动发布时长,但还要考虑回滚和仍在使用旧版本的客户端。消息进入 MQ(消息队列)或长期存储后,旧格式可能数月后被回放,兼容周期更长。测试样本因此需要覆盖积压消息和历史数据,而不只是当前接口生成的消息。
6. Java 最小 JSON 示例
下面的示例使用 Java record,适用于 JDK 16 及以上的常规编译环境,文件名为 OrderMessage.java。它只演示以整数最小货币单位表达金额,手工拼接 JSON 的方式不能用于通用字符串输入。
java
public record OrderMessage(long id, long amountCent, String status) {
public String toJson() {
// 演示字段设计;生产代码应使用成熟 JSON 库并正确转义字符串。
return "{\"id\":" + id
+ ",\"amountCent\":" + amountCent
+ ",\"status\":\"" + status + "\"}";
}
public static void main(String[] args) {
System.out.println(new OrderMessage(1L, 1230L, "PAID").toJson());
}
}预期输出:
text
{"id":1,"amountCent":1230,"status":"PAID"}amountCent 的名字表达了最小单位约定;双方仍需明确对应币种。示例中的 status 是固定字符串,若换成包含引号或反斜杠的输入,直接拼接就不能正确转义。因此,手写 JSON 在这里是反例,生产代码应使用成熟 JSON 库。这个片段也没有演示反序列化或跨版本兼容,不能据此判断接口可以安全升级。
7. 安全边界
反序列化处理的是外部输入。如果允许消息指定任意 Java 类,并按消息要求反射实例化,某些类及其反序列化调用路径可能触发危险行为,产生远程代码执行风险;超大消息或过深嵌套则可能耗尽内存和计算资源。这些风险取决于库、版本、配置及可加载的类型,不能仅凭格式名称判断安全性。
应只允许明确列出的数据类型,使用不承担业务执行职责的 DTO(数据传输对象),限制消息大小和嵌套深度,并跟进所用库的安全修复版本。类型限制用于缩小可执行行为的范围,大小和深度限制用于控制资源消耗;两类限制不能互相替代。
8. 容易踩的坑
- 复用 Protobuf 已删除字段的编号。
- 修改字段类型却沿用同一编号,只确认能解码,没有确认值和业务语义是否仍兼容。
- Java 枚举直接按
ordinal(声明顺序对应的序号)传输,插入或调整成员顺序后,同一数字可能代表不同状态。应约定稳定的业务编码。 - 让协议依赖类全名,却未设计稳定的类型映射;包名重构就可能影响接收方解析。
- 只比较序列化耗时,不比较网络体积、分配和尾延迟。
- MQ 消费者发布后无法读取积压的旧消息。
9. 总结
序列化协议首先是一份跨版本契约,其次才是性能工具。
- JSON 易读但需额外约定数字、日期和枚举语义。
- Protobuf 依靠字段编号识别字段,删除后应使用
reserved防止复用;编号管理不能替代业务迁移。 - Hessian 需结合所在 RPC 体系的类型映射和版本约束选用。无论选择哪种格式,都要做新旧版本交叉兼容测试和安全限制。
下一篇:服务注册成功却调用失败:注册中心的工作原理与故障边界。