外观
07 - Pod 为什么不断重启:从进程退出到 CrashLoopBackOff
摘要
CrashLoopBackOff 表示容器正在等待下一次重启,不能直接说明它为什么退出。排查时,先区分容器重启和 Pod 替换,再把上一轮的退出状态、日志和平台事件放到同一条时间线上。本文先解释这套基本模型,再用三个最小实验展示应用主动退出、正常结束和探针终止的区别。
1. 场景:CrashLoopBackOff 到底是谁崩了
假设发布后看到如下状态示例:
text
NAME READY STATUS RESTARTS AGE
order-api-7dcf8f9cc7-x4m8p 0/1 CrashLoopBackOff 6 8m有人建议调大内存,有人判断探针失败,也有人要求重启 Node。仅凭这一行无法支持任何结论。
先认识三个对象:Pod 是 Kubernetes 管理的一组容器,Node 是承载 Pod 的工作节点,Kubelet 是节点上负责协调容器运行的代理。容器是否还在运行,取决于它的主进程是否存活;主进程退出后,Kubelet 根据重启策略决定是否再次启动容器。
当容器反复退出或被终止,又需要重启时,Kubelet 会延长重试间隔,这称为 Backoff(退避)。CrashLoopBackOff 就是等待重启期间的状态原因。排查要沿这条链路向前追问:进程为什么退出?为什么会再次启动?当前为什么在等待?
导致退出或终止的原因可能是:
- 应用异常退出;
- 启动命令或参数错误;
- 配置、Secret(保存敏感配置的 Kubernetes 对象)、文件权限错误;
- Liveness Probe(存活探针)或 Startup Probe(启动探针)连续失败,触发容器终止;
- 容器内存超限,被标记为
OOMKilled(因内存不足被终止); - 依赖不可用,应用选择退出;
- 容器主进程正常执行完毕,但 RestartPolicy 要求重启。
2. 不要混淆 Pod Phase 与 Container State
Pod Phase(Pod 阶段)描述整个 Pod 的粗粒度状态,常见值包括 Pending、Running、Succeeded、Failed、Unknown。kubectl get pod 的 STATUS 列是便于阅读的状态展示,不等同于 .status.phase;因此,看到 CrashLoopBackOff 不能把它当成一种 Pod Phase。一个 Pod 为 Running 时,其中的容器仍可能正在重启。
容器当前状态三选一:
Waiting:还未运行,例如拉镜像或处于退避;Running:进程正在运行;Terminated:已经退出,包含exitCode(退出码)、reason(原因)和起止时间等。
Container State(容器状态)描述的是单个容器。重启过程中,当前 state 可能变成 Waiting 或 Running,上一次终止的信息则位于 lastState.terminated。只读当前状态,会错过导致这次重启的退出信息。
以下排查命令中的 POD、CONTAINER 分别替换为目标 Pod 和容器名称,并确认当前命名空间正确。kubectl describe pod 中的 Events 是 Kubernetes 记录的平台事件,可帮助判断谁触发了终止。
bash
kubectl get pod POD -o jsonpath='{.status.containerStatuses[*]}'
kubectl describe pod POD3. RestartPolicy 与控制器是两层恢复机制
Pod 的 restartPolicy(重启策略)由 Kubelet 用于决定是否在同一个 Pod 内重启容器。先按普通应用容器理解三种策略:
| 策略 | 退出后的行为 |
|---|---|
Always | 无论退出码是否为 0,都重启 |
OnFailure | 非零退出码时重启 |
Never | 不重启 |
这里的恢复发生在同一个 Pod 的运行环境(Pod Sandbox)内,不是创建一个新的 Pod。
Deployment 用来管理持续运行的应用副本,通常生成 restartPolicy: Always 的 Pod。即使 Pod 最终消失,负责维持副本数量的 ReplicaSet Controller 还会创建替代 Pod。因此要区分:
text
容器重启:Pod UID 通常不变,Restart Count 增加
Pod 替换:Pod UID 改变,由上层控制器创建新对象UID 是对象的唯一标识,Restart Count 是容器的重启计数。只看 Pod 名称前缀容易混淆两层恢复机制,也容易把不同 Pod 的日志拼成同一次故障。
4. Backoff 为什么存在
假设应用启动后 10 毫秒就退出,而 Kubelet 每次都立即重启,启动、写日志和连接依赖的开销就会持续累积。退避让重试间隔逐步增长,避免失败进程不断冲击节点和下游。
具体初始间隔、上限和重置条件可能随 Kubernetes 版本、Feature Gate(控制可选功能是否启用的开关)和 Kubelet 配置变化。线上应读取目标版本文档及节点配置,不能把某个固定秒数当成所有集群的默认值。
退避只降低重试频率,不会修复错误。删除 Pod 可能暂时清除当前对象的退避状态,却仍会以相同配置再次失败。
5. 退出码如何读,为什么不能单独定责
| 现象 | 常见解释 | 仍需确认 |
|---|---|---|
| exitCode 0 | 主进程正常结束 | 是否本应长期运行 |
| exitCode 1 | 应用通用错误 | 应用日志和异常 |
| exitCode 126 | 找到命令但不可执行 | 权限、架构、挂载选项 |
| exitCode 127 | 命令未找到 | ENTRYPOINT、PATH、镜像内容 |
| exitCode 137 | 常见为 SIGKILL | OOM、宽限期结束、人工强杀 |
| exitCode 143 | 常见为 SIGTERM | 发布、删除、探针或外部停止 |
SIGTERM 是请求进程终止的信号,SIGKILL 是强制终止信号。在常见的 Shell 约定中,信号终止会表示为 128 + 信号编号,所以 137 = 128 + 9 提示进程可能收到 SIGKILL。但强杀不只有内存不足一种原因,Shell 包装、容器运行时和应用也可能改变退出码,仍需结合 reason、日志和事件确认。
6. 最小实验:制造三种重启
只在测试 Namespace(命名空间)执行。实验需要可访问的 Kubernetes 测试集群、kubectl,以及在该命名空间创建、查看、读取日志和删除 Pod 的权限;节点还需能拉取 busybox:1.36 镜像。以下命令作用于当前命名空间。
6.1 主进程主动失败
将以下清单保存为 crash-exit.yaml:
yaml
apiVersion: v1
kind: Pod
metadata:
name: crash-exit
spec:
restartPolicy: Always
containers:
- name: app
image: busybox:1.36
command: ["sh", "-c", "echo starting; sleep 2; exit 42"]bash
kubectl apply -f crash-exit.yaml
kubectl get pod crash-exit -w
kubectl logs crash-exit --previous
kubectl get pod crash-exit -o jsonpath='{.status.containerStatuses[0].lastState.terminated}'预期观察:主进程输出 starting,等待 2 秒后以退出码 42 结束;Always 使它被反复重启,随后可观察到退避。--previous 读取上一轮容器日志,lastState.terminated 用来确认退出码。-w 会持续观察,看到重启后按 Ctrl+C 结束观察,再执行后续命令;尚未发生重启时,上一轮日志可能不可用。
6.2 正常结束却被 Always 重启
将以下清单保存为 crash-complete.yaml,用 kubectl apply -f crash-complete.yaml 创建 Pod,再按上一节的方法观察状态和上一轮退出信息:
yaml
apiVersion: v1
kind: Pod
metadata:
name: crash-complete
spec:
restartPolicy: Always
containers:
- name: job-like
image: busybox:1.36
command: ["sh", "-c", "echo done; exit 0"]预期观察:主进程输出 done 后以退出码 0 结束,但 Always 仍要求重启。这说明循环重启不一定是“崩溃”。一次性任务应使用 Job(管理执行至完成的任务)或合适的重启策略,而不是把立即结束的程序放进 Deployment。
6.3 Liveness Probe 主动杀死容器
将以下清单保存为 crash-probe.yaml。探针通过执行 test -f /tmp/live 检查文件是否存在:
yaml
apiVersion: v1
kind: Pod
metadata:
name: crash-probe
spec:
containers:
- name: app
image: busybox:1.36
command: ["sh", "-c", "touch /tmp/live; sleep 15; rm /tmp/live; sleep 3600"]
livenessProbe:
exec:
command: ["test", "-f", "/tmp/live"]
periodSeconds: 3
failureThreshold: 2bash
kubectl apply -f crash-probe.yaml
kubectl describe pod crash-probe预期观察:主进程先创建 /tmp/live,15 秒后删除它,但自身仍在 sleep。探针每 3 秒检查一次,连续失败达到 2 次后,Kubelet 触发容器终止并重启;Events 中可看到探针失败和重启线索。实际终止时刻还受探针调度和终止宽限期影响,不能把这些参数直接相加当成精确时间。
这个 Pod 未显式设置 restartPolicy,使用默认的 Always。与前两种实验相比,这里是健康检查触发了终止,不是应用主动执行 exit。
清理:
bash
kubectl delete pod crash-exit crash-complete crash-probe --ignore-not-found7. 正确排查顺序
第一步:固定对象和时间线
bash
kubectl get pod POD -o wide
kubectl get pod POD -o jsonpath='{.metadata.uid}{"\n"}'
kubectl describe pod POD记录 Pod UID、Node、镜像、各容器的 Restart Count、第一次失败时间和发布版本。先确认这些证据属于同一个 Pod、同一个容器和同一次发布,避免把容器重启误判为 Pod 替换。
第二步:看上一轮日志
bash
kubectl logs POD -c CONTAINER --previous --timestamps当前日志属于新一轮进程,上一轮退出前的异常应优先通过 --previous 查找。它不是所有历史重启日志的集合;日志可能因运行时轮转、Pod 删除或采集延迟而丢失,生产环境需要集中日志。没有日志不能反推“应用没有报错”。
第三步:读 Terminated State
bash
kubectl get pod POD -o jsonpath='{range .status.containerStatuses[*]}{.name}{"\t"}{.lastState.terminated.reason}{"\t"}{.lastState.terminated.exitCode}{"\n"}{end}'预期输出按容器列出名称、上一轮终止原因和退出码,以制表符分隔。如果还没有上一轮终止记录,相应字段可能为空,需结合当前 state 继续判断。
第四步:按原因补证据
下面的分支用于选择优先收集的证据,不代表原因互斥。退出状态、探针事件和应用异常可能同时出现,需要按时间顺序判断谁先触发了终止。
图表将在阅读到此处时加载…
其中,cgroup 是 Linux 用于限制和统计进程组资源的机制;JVM Native Memory 指 Java 堆之外的本地内存;Runtime 指负责实际创建和运行容器的容器运行时。只有 Java 应用才需要沿 JVM 内存方向继续排查。发现 OOMKilled 时检查内存曲线与资源限制,发现探针失败时对照配置、接口响应和终止时间,而不是只凭一个字段直接修改配置。
8. Init Container 和 Sidecar 也会卡住主容器
普通 Init Container(初始化容器)用于主容器启动前的准备工作,必须按顺序成功结束,主容器才会启动。主容器没有日志时,先确认是否仍卡在初始化阶段:
bash
kubectl get pod POD -o jsonpath='{.status.initContainerStatuses}'一个“等待数据库直到成功”的 Init Container 若无总超时,可能让 Pod 永久处于初始化状态;如果大量 Pod 同时重试,还会冲击数据库。
Sidecar(辅助容器)通常与应用配合完成日志、代理等工作。它的生命周期语义依 Kubernetes 版本和实现方式变化:传统“普通容器充当 Sidecar”和原生 Sidecar 能力不能混为一谈,后者也不能直接套用普通 Init Container 必须退出的模型。应按目标版本验证启动与终止顺序。
9. 反例与正例
反例:依赖失败就立即退出
以下 Java 片段用于说明错误处理策略,database 等对象由业务代码提供,不是可独立运行的完整程序:
java
if (!database.ping()) {
System.exit(1);
}如果多个实例在数据库短暂抖动时都采用这段逻辑,就可能一起退出。重启又会重新建立连接、加载启动数据,把一次依赖故障放大成连接风暴。
正例:区分不可恢复配置错误和临时依赖失败
java
if (!config.isValid()) {
throw new IllegalStateException("invalid local configuration");
}
// 临时依赖不可用时保持进程存活,但 Readiness 返回失败,
// 并使用有上限、有抖动的重连策略。
databaseConnector.startAsyncRetry();
readiness.markNotReady("database unavailable");Readiness(就绪探针)表达当前是否适合接收新流量,失败本身不触发容器重启。这里的重连“抖动”指给重试间隔加入随机变化,避免多个实例总在同一时刻重连;重试还需限制频率和资源消耗。依赖恢复后,应用应在具备服务能力时恢复就绪状态。
是否应该保持存活取决于业务边界和降级能力。不可恢复的本地配置错误可以阻止启动,临时依赖失败则应判断能否等待恢复,避免把所有错误都映射成同一种重启行为。
10. 容易踩的坑
10.1 删除 Pod 清除 CrashLoopBackOff
只重置现象,不修复镜像、配置、资源或探针根因。
10.2 只看当前日志
先核对日志对应的运行轮次,再结合 --previous 和集中日志还原退出前的现场。
10.3 看到 OOMKilled 就只增大 limit
对 Java 应用,内存使用不只有堆,还包括 Direct Memory(堆外直接内存)、线程栈和 Native(本地)分配;Page Cache(文件页缓存)也需结合 cgroup 记账分析。先识别增长来源并确认是否有泄漏,再决定调整内存 limit(上限)还是修复应用。
10.4 用 Liveness 检查所有下游
若存活探针把下游不可用判为本进程失活,下游故障就可能触发本服务集体重启。只有重启确实有助于恢复的问题,才适合由 Liveness 处理。
10.5 忽略多容器 Pod
kubectl logs POD 可能看错容器。必须核对具体 Container Status 和 -c 参数。
11. 总结
CrashLoopBackOff 是重启退避状态,不是根因;根因藏在上一轮容器的退出状态、日志、Events 和节点证据中。
可以带走的三个核心要点:
- Pod Running 不代表容器稳定,Container State 与 Last State 才能还原重启原因。
- 容器重启和 Pod 替换是两层机制,要用 Pod UID 与 Restart Count 区分。
- 退出码只是线索,137、探针失败或 OOM 都必须通过多份证据交叉确认。
下一篇:健康检查配错如何制造故障:Liveness、Readiness 与 Startup Probe。