外观
08 - 健康检查配错如何制造故障:Liveness、Readiness 与 Startup Probe
摘要
数据库抖动 30 秒,为什么应用 Pod 全部重启,故障反而持续十分钟?关键在于健康检查失败后采取什么动作:暂停接收流量,还是终止并重启容器。本文先解释三类 Probe(探针)的职责,再介绍判定参数、健康接口设计和最小 HTTP 实验,区分慢启动、暂时未就绪与内部失活。
1. 场景:下游抖了一下,所有应用开始重启
团队把 /health 同时配置成 Liveness 和 Readiness。该接口会查询数据库、Redis 和三个下游。数据库短暂延迟后:
/health超时;- Liveness 连续失败;
- Kubelet 重启所有应用容器;
- 应用启动时同时建立连接、加载缓存;
- 数据库刚恢复又遭遇连接洪峰;
- Probe 继续失败,进入重启循环。
这条故障链的关键是:数据库超时被当成了应用自身失活。重启应用不能修复数据库,却会重新触发建连和缓存加载,让依赖承受更多压力。仅调大超时只能改变触发时机,还需要拆开“启动完成”“能够接流量”和“需要重启”三个判断。
2. 三类 Probe 分别回答什么
Pod 是 Kubernetes 管理的一组容器;Kubelet 是运行在工作节点上、负责协调容器运行的代理。Probe 由 Kubelet 针对容器执行,它只能按配置检查接口、连接或命令结果,并不知道业务是否真的健康。因此,探针检查什么,以及失败后采取什么动作,必须一起设计。
| Probe | 回答的问题 | 失败后的主要动作 |
|---|---|---|
| Startup(启动探针) | 应用是否完成启动 | 成功前不执行 Liveness/Readiness;连续失败达到阈值后触发容器终止,再按重启策略处理 |
| Readiness(就绪探针) | 当前是否应接收新流量 | 连续失败达到阈值后标记容器未就绪,影响 Pod 的就绪状态,不直接触发重启 |
| Liveness(存活探针) | 进程是否陷入需要重启恢复的状态 | 连续失败达到阈值后触发容器终止,再按重启策略处理 |
对本文使用默认 restartPolicy: Always 的 Pod,Startup 或 Liveness 触发终止后,Kubelet 会重启容器。这是同一个 Pod 内的容器恢复,不等于创建一个新 Pod。
Readiness 走的是另一条链路。Service 为一组 Pod 提供统一的服务入口,EndpointSlice 记录后端地址及其就绪等条件。Pod 的 Ready Condition(就绪状态条件)变化后,相关控制器更新端点状态,代理或其他转发组件再据此调整可用后端。对于按就绪状态选择后端的普通 Service,这通常称为“摘流量”。它有传播延迟,也不适用于绕过 Service 直接访问 Pod 的请求;Readiness 失败不代表所有连接瞬间消失。
3. 四种探测方式
- HTTP GET:向指定端口和路径发送请求,根据响应判断结果;
- TCP Socket:只验证能否建立 TCP 连接;
- Exec:在容器内执行命令,根据退出码判断结果;
- gRPC:调用 gRPC 的标准健康检查协议,而不是任意业务 RPC;支持情况依 Kubernetes 版本。
这四种方式是“如何检查”,三类 Probe 是“检查结果用于什么决策”,两者不要混淆。即使都是 HTTP GET,Startup、Readiness 和 Liveness 也可以使用不同路径表达不同状态。
HTTP 返回码的成功范围、重定向处理、Host Header 等具体行为可能随版本演进,应以目标 Kubernetes 文档为准。
3.1 TCP 成功不代表业务健康
端口正在监听,只能证明连接建立阶段成功。线程池可能耗尽,业务请求仍无法处理。
3.2 Exec Probe 有真实成本
高频启动 Shell、JVM 或复杂脚本会消耗 CPU、进程数量额度和 I/O(输入输出)资源。Probe 应轻量、有界、无副作用:执行快,限制等待时间,不在检查时修改业务数据或触发重型初始化。
4. 参数如何共同决定判定窗口
Kubelet 不会因为一次失败就必然重启容器。探测间隔决定检查频率,超时限制一次检查能等多久,连续结果阈值决定何时确认状态变化。以下是参数片段,应放在具体探针配置下:
yaml
periodSeconds: 10
timeoutSeconds: 1
failureThreshold: 3
successThreshold: 1以这组参数为例,单次探测的超时为 1 秒,连续失败达到 3 次后确认失败。10 × 3 = 30 秒只能用于粗略估计失败窗口;故障发生在两次检查之间的哪个时刻、首次调度、执行耗时及 Kubelet 调度都会影响实际时间,不能把它当成精确的 SLA(服务等级协议)承诺。
initialDelaySeconds:容器启动后首次探测前等待;periodSeconds:探测周期;timeoutSeconds:单次探测超时;failureThreshold:连续失败阈值;successThreshold:确认探测成功所需的连续成功次数;Liveness 和 Startup 必须为 1,Readiness 可以用更高阈值避免刚恢复就立即接流量。
慢启动应用优先用 Startup Probe,为初始化留出失败容忍窗口。Startup 成功后不再继续探测,Liveness 和 Readiness 才开始各自的检查;这样启动阶段的等待不会与运行阶段的失活检测共用同一个固定延迟。窗口仍需覆盖正常启动耗时,而不是无限延长。
5. 健康状态机应该如何设计
下面是应用健康状态的设计示意,不是 Kubernetes 内置状态的完整列表。Starting 表示初始化中,Ready 表示可接流量,NotReady 表示暂时不可接流量,Deadlocked 表示内部工作无法继续推进:
图表将在阅读到此处时加载…
Readiness 可以随服务能力在 Ready/NotReady 间切换,恢复后继续接流量,无需重启。Liveness 应更保守,只检测重启确实有助于恢复的问题,例如主事件循环永久卡死、内部关键线程无法在当前进程中恢复。事件循环是不断调度和处理任务的执行循环;进程还活着,不代表这个循环仍能推进工作。
6. 最小实验:一个服务表达三种状态
实验需要 Kubernetes 测试集群、可访问该集群的 kubectl,以及当前命名空间中创建、查看、删除 Pod 和 ConfigMap、执行容器内命令的权限。节点需能拉取 python:3.13-slim 镜像。以下使用 Linux 容器,命令作用于当前命名空间。
测试服务用文件模拟状态:/tmp/started 存在表示启动完成,/tmp/ready 存在表示就绪,/tmp/dead 存在表示失活。它用于观察探针动作,不模拟真实死锁或业务依赖。将 Python 标准库服务保存为 probe_server.py:
python
from http.server import BaseHTTPRequestHandler, HTTPServer
from pathlib import Path
class Handler(BaseHTTPRequestHandler):
def do_GET(self):
if self.path == "/startup":
ok = Path("/tmp/started").exists()
elif self.path == "/ready":
ok = Path("/tmp/ready").exists()
elif self.path == "/live":
ok = not Path("/tmp/dead").exists()
else:
self.send_response(404)
self.end_headers()
return
self.send_response(200 if ok else 503)
self.end_headers()
self.wfile.write(("ok" if ok else "not-ok").encode())
HTTPServer(("0.0.0.0", 8080), Handler).serve_forever()对应 Pod 清单如下。保存为 probe-demo.yaml,并在应用前补上后面的脚本挂载配置:
yaml
apiVersion: v1
kind: Pod
metadata:
name: probe-demo
labels:
app: probe-demo
spec:
containers:
- name: app
image: python:3.13-slim
command: ["python", "/app/probe_server.py"]
ports:
- name: http
containerPort: 8080
startupProbe:
httpGet: {path: /startup, port: http}
periodSeconds: 2
failureThreshold: 30
readinessProbe:
httpGet: {path: /ready, port: http}
periodSeconds: 2
failureThreshold: 2
livenessProbe:
httpGet: {path: /live, port: http}
periodSeconds: 3
failureThreshold: 2容器通过 /app/probe_server.py 启动,因此需要把脚本放到这个路径。这里使用 ConfigMap(保存配置数据的 Kubernetes 对象)承载脚本,在脚本所在目录执行:
bash
kubectl create configmap probe-server --from-file=probe_server.py将以下挂载片段合并到 Pod 清单中:volumeMounts 与 startupProbe 同属 app 容器,volumes 与 containers 同属 spec。它会把 ConfigMap 中的脚本挂载到 /app:
yaml
volumeMounts:
- name: source
mountPath: /app
volumes:
- name: source
configMap:
name: probe-server用 kubectl apply -f probe-demo.yaml 创建 Pod。等容器运行后,及时执行第一条状态命令;Startup 配置的 2 × 30 秒是粗略容忍窗口,并非无限等待,超出窗口会触发重启。
下面的命令应分步执行。每次改变状态后用 kubectl describe pod probe-demo 观察,等对应探针确认变化,再进入下一步。若把命令一次性连续执行,中间状态可能还未被探针采样就消失:
bash
kubectl exec probe-demo -- touch /tmp/started
kubectl exec probe-demo -- touch /tmp/ready
kubectl exec probe-demo -- rm /tmp/ready
kubectl exec probe-demo -- touch /tmp/dead
kubectl describe pod probe-demo预期现象:
- 没有
/tmp/started时,Startup 未成功,Liveness 和 Readiness 尚未执行;持续失败达到阈值后会触发重启。 - 创建
/tmp/started和/tmp/ready后,Startup 成功,随后 Readiness 成功,Pod 进入 Ready。 - 删除
/tmp/ready后,Readiness 连续失败达到阈值,Pod 不再 Ready;只要/live仍成功,容器不应因此重启。 - 创建
/tmp/dead后,Liveness 连续失败达到阈值并触发重启,可查看容器重启计数和 Events(平台事件)。
此实验没有创建 Service,因此直接观察的是 Pod 就绪状态和容器重启,而不是实际的流量转发变化。
容器重启会清空容器可写层中的 /tmp 文件,因此状态回到初始值。清理:
bash
kubectl delete pod probe-demo --ignore-not-found
kubectl delete configmap probe-server --ignore-not-found7. 正例:拆分健康接口
以下 Java 方法是业务逻辑片段,依赖应用提供心跳、启动标记、过载保护和数据库熔断器等对象,不是可独立运行的完整程序。健康接口可以读取这些状态,避免每次探测都同步调用全部下游。
Liveness
java
boolean live() {
// 只检查进程内部是否还能推进关键工作。
return eventLoopHeartbeat.age().compareTo(Duration.ofSeconds(30)) < 0;
}Readiness
java
boolean ready() {
// 可以考虑连接池、过载状态和必要依赖,但必须快速、有界。
return startupComplete.get()
&& !overloadGuard.isRejectingAll()
&& databaseCircuit.isUsable();
}这里的心跳表示关键工作最近一次取得进展的时间;过载保护表示应用是否已拒绝全部请求;熔断器用于在依赖故障时限制继续调用。它们的具体实现决定检查能否反映真实服务能力,方法名称本身不能保证正确。
是否把数据库纳入 Readiness 取决于服务语义。如果所有请求都必须访问数据库,数据库不可用时摘流量可能合理;如果仍有缓存查询或降级能力,把整个实例标记为 NotReady 反而会丢掉仍能处理的请求。
8. Probe 与滚动发布的关系
对于按就绪状态选择后端的普通 Service,新 Pod 就绪后才成为可用后端。Deployment(管理应用副本和滚动更新的控制器)还会结合 maxSurge(允许临时增加的副本数)、maxUnavailable(允许不可用的副本数)和 minReadySeconds(持续就绪多久才算可用)推进发布。就绪决定是否接流量,持续就绪等条件则影响发布能否继续推进。
错误 Readiness 的两种极端:
- 过早 Ready:应用未预热就接流量,导致发布瞬时超时;
- 永不 Ready:新版本无法获得可用副本,发布卡住。
Readiness 不是“启动成功接口”。应用运行期间也应持续反映是否适合接收新请求。
9. 排查 Probe 失败
将 POD 替换为目标 Pod 名称,并确认命名空间。多容器 Pod 还需在日志和执行命令中指定目标容器。先用 describe 查看失败事件,再用 YAML 对照实际生效的探针配置;--previous 读取上一轮容器日志,尚未重启时可能没有这份日志。
bash
kubectl describe pod POD
kubectl get pod POD -o yaml
kubectl logs POD --previous
kubectl exec POD -- sh -c 'wget -S -O- http://127.0.0.1:8080/ready'最后一条命令依赖镜像中存在 sh 和 wget,精简镜像可能没有。此时可用临时容器或从同一 Pod 网络环境诊断,不要为了检查强行修改生产镜像。
确认以下差异:
- HTTP/TCP 探针通常由节点上的 Kubelet 访问 Pod IP;容器内
localhost测试只检查回环访问,不能据此证明节点到 Pod 的路径正常; - 端口名称、数字和协议是否匹配;
- 应用监听
127.0.0.1还是0.0.0.0; - Probe 超时是否小于接口正常尾延迟,即少量较慢请求的耗时;
- Probe 是否被 CPU Throttling(CPU 配额限流)、GC(垃圾回收)或磁盘 I/O 拖慢;
- 返回失败是应用主动状态还是连接层错误。
10. 容易踩的坑
10.1 三类 Probe 共用同一重型接口
一个慢下游会同时摘流量并触发重启,扩大故障。
10.2 Liveness 配得过于敏感
短暂 GC、CPU 抢占或网络抖动就重启,导致实例数量进一步下降。
10.3 Probe 自己无超时地访问依赖
Kubelet 判定探测超时,不代表应用内部正在等待的数据库或下游调用也已经取消。健康接口自身仍需为依赖调用设置超时,否则检查线程可能持续占用连接和线程资源。
10.4 只设置 initialDelay,不设置 Startup Probe
固定延迟难以覆盖不同数据量、节点负载和启动路径。只靠它保护启动时,过短可能让 Liveness 终止仍在正常初始化的容器,过长则会延迟开始检查。
10.5 Readiness 失败等于已处理连接被终止
摘流量主要影响后续后端选择。已有长连接和在途请求仍需应用与代理执行排空,即停止接收新工作并让已接收的工作完成;Readiness 本身不是连接关闭指令。
11. 总结
Startup、Readiness 和 Liveness 分别管理启动、接流量和自愈,混用会把短暂依赖故障升级成重启风暴。
设计时先问“失败后暂停接流量是否足够,还是重启确实有助于恢复”,再选择探针和阈值。用 Startup 保护正常初始化,用 Readiness 表达当前服务能力,用 Liveness 识别内部失活;每个检查都应轻量、有界、无副作用,并保留业务仍能降级服务的空间。
下一篇:Pod 被 OOMKilled,但 JVM 没有堆溢出:cgroup 内存控制原理。