外观
07 - 服务注册成功却调用失败:注册中心的工作原理与故障边界
摘要
注册中心显示实例“健康”,调用却持续超时;注册中心短暂不可用,业务调用反而正常。这两种现象并不矛盾:注册中心帮助调用方找到服务地址,业务请求通常直接发往目标实例。理解这两条链路的区别,才能判断故障出在地址更新、网络连接,还是业务处理。
1. 场景:控制台是绿色,用户请求却失败
设想一个支付实例启动后成功注册,控制台也显示健康。但容器仍在加载规则,业务线程池尚不能接收请求。调用方从注册列表中选中它,把请求发过去,结果超时。
这里的“健康”取决于注册中心检查了什么。如果它只确认实例仍在发送心跳,就无法据此判断业务初始化是否完成。进程存在、注册租约有效、端口可连接、业务可以正确处理,是不同层次的事实。
2. 注册发现链路
一个服务可以部署多个实例,每个实例是一个可接收请求的服务进程。提供者负责处理业务请求,消费者是发起调用的一方;同一个服务也可以同时承担这两种角色。
注册中心维护服务名与实例地址、元数据之间的对应关系。元数据是地址之外的附加信息,例如实例权重。服务发现就是消费者根据服务名取得候选实例,再选择其中一个发起调用。
下面展示一种使用心跳和订阅的注册发现链路;具体接口与更新方式取决于实现:
图表将在阅读到此处时加载…
提供者先登记自己的地址,再通过心跳或续约维持注册状态。消费者订阅实例列表的变化,把收到的列表保存在本地;调用时从本地列表中选择地址,直接向提供者发起 RPC(远程过程调用)。因此,在这种客户端发现模型中,每次业务请求不必先查询注册中心。
注册中心通常属于 Control Plane(控制面),负责分发地址和规则;消费者到提供者的业务通信属于 Data Plane(数据面)。控制面提供“去哪里调用”的信息,数据面完成实际请求。即使地址分发成功,两端网络、目标端口或业务资源仍可能出问题。
3. Push、Pull 与长轮询
实例会因扩容、发布和故障而变化,消费者的本地列表也需要更新。常见方式有:
| 方式 | 如何获得变化 | 主要代价与边界 |
|---|---|---|
| Pull(拉取) | 客户端定期查询列表 | 实现简单,但两次查询之间可能使用旧列表;缩短间隔会增加查询负担 |
| Push(推送) | 服务端主动通知客户端 | 可以更及时地通知变化,但需要维护通知连接,并处理断线重连 |
| Long Polling(长轮询) | 客户端发起请求,无变化时服务端暂不返回;有变化或等待超时后返回,客户端再发起请求 | 减少无变化时的频繁查询,但客户端仍需处理超时和重新请求 |
通知与周期校验可以组合使用:通知让客户端及时得知变化,校验则重新确认当前列表,减少一次通知丢失后长期使用旧数据的风险。是否采用这种组合,需要查看所用客户端的实现,不能仅凭“支持推送”判断。
4. 临时实例、租约和摘除
租约是有有效期的注册关系。采用租约机制时,实例通过心跳续约,表明自己仍能与注册中心通信;超过规定时间未续约后,注册中心可能将它标记为不健康或摘除。摘除指把实例移出可供发现或选择的列表,不等于立即关闭服务进程。
临时实例通常与客户端的存活状态关联,而不是永久保留的登记记录。但“临时”如何判定、何时删除,必须结合具体产品的会话或健康检查机制理解。
超时阈值决定了故障发现速度与误判风险。阈值太短,短暂网络抖动也可能导致健康实例被摘除;阈值太长,已故障实例则可能继续出现在列表中。注册中心作出判断后,变化还需要传播到消费者,所以摘除发生的时刻不等于所有消费者停止选择该实例的时刻。
Nacos、Eureka、Consul、ZooKeeper 的会话、健康检查和一致性模型不同。一致性模型决定不同节点或客户端在什么条件下能看到相同的注册状态;默认值也会随版本变化。生产设计必须以实际版本文档和故障实验为准,不能把上述链路当作所有产品的统一实现。
5. 客户端为什么要保留本地缓存
如果注册中心不可用,但消费者与已有提供者仍能通信,最近一次成功获取的列表就可以继续支持调用。此时若因查询失败而立刻清空地址,原本正常的业务链路也会中断。
缓存的代价是信息可能过时:已经下线的实例仍在列表里,新上线的实例则可能尚未被发现。因此,保留列表应配合以下策略:
- 记录列表版本和获取时间,判断是否发生更新,以及信息有多旧。
- 对近期调用失败的实例做临时隔离,减少持续向故障地址发送请求;隔离和恢复规则应与失败类型相匹配。
- 后台继续刷新注册信息,恢复连接后获取当前列表。
- 缓存过旧时告警,让运维能够发现消费者长期无法更新。
- 区分“查询成功,服务确实没有实例”和“查询失败,无法知道当前实例”。后者不应直接用空列表覆盖最近一次成功结果。
缓存也有启动边界:一个从未成功取得地址、又没有其他可用地址来源的消费者,无法仅靠内存缓存完成服务发现。
6. 健康检查分层
健康检查只能证明它实际检查的条件。Liveness(存活检查)用于判断是否需要重启进程;Readiness(就绪检查)用于判断当前是否应接收流量。探针是执行这些检查的请求或程序,不同探针覆盖的范围不同。
| 检查 | 能证明什么 | 不能证明什么 |
|---|---|---|
| 进程检查 | 进程仍在 | 业务线程可用 |
| TCP 检查 | 检查发起方能连接目标端口 | 请求能正确处理,或所有消费者都能连接 |
| Liveness | 按存活检查规则判断是否需要重启 | 是否应接流量 |
| Readiness | 按就绪检查规则判断当前是否可接流量 | 所有依赖永远正常 |
| 业务探针 | 某条轻量路径在检查时可用 | 所有业务和数据正确 |
Readiness 应反映实例是否具备接收流量的必要条件,例如关键初始化是否完成。它的结果还需要被实际的流量分配机制采用,才能阻止未就绪实例接到请求;仅有一个就绪接口并不够。
Readiness 不应执行昂贵的全链路查询。探针通常会周期执行,复杂查询会额外消耗业务资源;如果每个实例都递归检查所有下游,一个下游故障还可能使大量上游同时被判定为未就绪,形成级联摘除。
7. 最小本地缓存示例
下面是 Java 类定义片段,使用 record,适用于 JDK 16 及以上的常规编译环境。它只展示按版本替换内存快照,不包含注册中心连接、订阅回调或可执行入口。
java
import java.time.Instant;
import java.util.List;
record RegistrySnapshot(List<String> instances, long version, Instant fetchedAt) {}
final class DiscoveryCache {
private volatile RegistrySnapshot snapshot =
new RegistrySnapshot(List.of(), 0, Instant.EPOCH);
void update(RegistrySnapshot candidate) {
if (candidate.version() > snapshot.version()) {
snapshot = candidate;
}
}
List<String> instances() {
return snapshot.instances();
}
}RegistrySnapshot 把实例列表、版本和获取时间放在同一个快照中。初始列表为空,版本为 0,获取时间使用 Instant.EPOCH(Unix 时间起点)作为初始值。update 只接受比当前版本更大的候选快照;instances 返回当前快照中的列表。
在更新由单一线程串行执行、版本始终递增且传入列表不再被修改的条件下,这个片段可以演示旧版本通知如何被忽略。例如先接受版本 2,随后收到版本 1,预期仍返回版本 2 的实例列表。它没有打印输出,也没有利用 fetchedAt 自动判断缓存过期。
volatile 使快照引用的更新对其他线程可见,但“比较版本再赋值”并不是一个原子操作。多个线程同时调用 update 时,可能先后通过比较,再由较旧的候选覆盖较新的快照。另外,record 不会自动把传入的 List 复制成不可变列表,调用方仍需保证列表不会被外部修改。
真实客户端还需处理并发通知、版本重置、注册中心切换和实例权重。尤其是版本重置后,直接比较旧、新版本数字可能持续拒绝有效更新,因此版本比较必须有明确的适用范围。
8. 容易踩的坑
- 初始化未完成就宣告 Ready。 应以业务接流量所需的条件判断就绪,不能把注册成功作为初始化完成的信号。
- 优雅停机时先关端口,后摘流量。 消费者可能仍持有旧地址,连接就会失败。应先停止接收新流量,并为列表传播和正在处理的请求留出时间,再关闭服务;具体等待条件取决于发现与调用机制。
- 查询失败就覆盖为空列表。 这会把控制面故障直接传导到原本可通信的业务链路。
- 只看控制台或过度依赖探针。 控制台、探针与真实消费者可能处于不同网络位置,检查范围也不同,不能替代消费者侧的调用证据。
9. 排障顺序
沿着一次失败请求的实际路径检查,比只看注册中心状态更容易定位问题:
- 查看失败消费者的本地列表、版本和更新时间。 确认它实际知道哪些实例,是否仍使用旧列表。
- 确认负载均衡最终选择的地址。 列表中有健康实例,不代表这次请求选中了它。
- 从消费者所在网络检查连接条件。 地址使用域名时检查 DNS(域名解析),再检查路由、端口;使用 TLS(传输层安全协议)时,还要检查握手和证书。注册中心能够连接实例,不代表消费者也能连接。
- 检查提供者的 Readiness、线程池和请求日志。 判断请求是否到达、是否排队,以及业务是否已具备处理条件。
- 对齐注册、续约、摘除、发布和停机时间线。 将失败时段与实例状态变化对应起来,区分未就绪接流量、故障发现延迟和列表更新延迟。
10. 总结
注册中心提供候选地址,业务是否可用仍要沿实际调用链路判断。
注册状态、健康检查和业务就绪各有边界。本地缓存可以让已有调用在注册中心故障期间继续运行,也可能留下过时地址。排障时应从消费者实际持有的列表和选中的实例出发,逐步检查网络与业务处理,而不是把控制台的绿色状态当作调用成功的保证。
下一篇:流量为什么总打到少数机器:负载均衡算法与容量陷阱。