外观
04 - 容器明明在运行,应用为什么还是不可用:PID 1、信号与优雅退出
摘要
容器显示运行,只能说明它的主进程还活着,不能说明业务进程正在正常服务。发布时即使平台发出了停止信号,应用也可能收不到,或来不及处理完请求。本文先解释主进程如何决定容器生命周期,再沿着“启动方式 → 信号接收 → 请求排空 → 进程退出”分析优雅停机,并用 Shell 与 Java 示例观察进程关系。
1. 场景:应用有优雅停机代码,发布时请求仍被切断
某服务收到 SIGTERM 后会停止接收新请求,等待在途请求结束,再关闭连接池。虚拟机部署时一直正常;迁移到容器后,每次滚动发布仍有少量连接被重置,Pod 最后显示退出码 137。
容器启动脚本如下:
dockerfile
ENTRYPOINT ["/bin/sh", "-c", "java -jar /app/app.jar"]这时应先检查进程树,也就是进程之间的父子关系。该入口显式启动了 Shell;如果 Shell 保持为容器主进程,Java 就是它的子进程。具体关系还取决于 Shell 实现,不能只凭启动命令断定。
信号是操作系统通知进程发生事件的机制:SIGTERM 请求有序终止,SIGKILL 则直接强制终止。容器运行时负责实际启动和停止容器,终止信号通常先发给容器主进程。如果 Shell 没有将信号转发给 Java,Java 的 Shutdown Hook(JVM 关闭时执行的清理钩子)就可能没有机会启动。终止宽限期耗尽后,节点上的 Kubelet 会请求运行时强制终止,清理逻辑也就无法继续执行。
这是一条需要通过进程树和终止日志确认的故障路径。退出码 137 本身不足以证明信号转发失败,也不能排除内存不足等其他原因。
2. 容器生命周期由主进程决定
本文以 Linux 容器、容器拥有独立 PID Namespace 的常见部署方式为基础。PID 是进程编号;PID Namespace(进程编号命名空间)为进程提供独立的编号视图。一个容器可以有多个进程,但运行时重点跟踪容器的初始进程,它在这个命名空间内通常是 PID 1:
text
PID 1 存活 → 容器仍在运行
PID 1 退出 → 容器进入退出状态后台启动业务进程、让启动脚本自己退出,会导致容器立即结束:
sh
#!/bin/sh
java -jar /app/app.jar &
echo "started"
# Shell 到这里退出,后台 Java 不能让容器主进程继续存在。反过来,如果启动脚本一直存活,即使业务进程已经崩溃,容器也可能继续显示运行。因此,运行状态与业务可用性必须分别判断。
普通应用容器通常不包含 systemd 这类服务管理器,不能套用虚拟机中“启动后台服务后脚本就可退出”的做法。除非确实需要多进程管理器,否则业务进程应以前台方式运行,并尽量成为容器主进程。共享 PID 命名空间或使用宿主机 PID 命名空间时,不能把每个容器的主进程一律理解为 PID 1。
3. ENTRYPOINT 与 CMD:Exec Form 和 Shell Form
ENTRYPOINT 指定容器启动时的入口程序;CMD 提供默认命令或参数。二者组合时,CMD 常用于向 ENTRYPOINT 提供默认参数。理解它们时,既要看最终启动了什么,也要看是否经过 Shell。下面以 ENTRYPOINT 对比两种形式。
3.1 Shell Form
dockerfile
ENTRYPOINT java -jar /app/app.jarShell Form(Shell 形式)通常经由 /bin/sh -c 执行。Shell 可以展开环境变量、处理管道,但也增加了一层进程关系:容器 PID 1 可能是 Shell,应用能否接收信号、容器最终返回什么退出码,都需要检查这层包装的行为。
3.2 Exec Form
dockerfile
ENTRYPOINT ["java", "-jar", "/app/app.jar"]Exec Form(执行形式)用 JSON 数组分别传入程序及参数,直接启动目标进程,不经过隐式 Shell。在前述独立 PID 命名空间、没有额外 init 包装的条件下,Java 就是 PID 1,可以直接接收运行时发送的信号。
JSON 数组形式不会自动展开环境变量:
dockerfile
# 不会像 Shell 那样自动展开 $JAVA_OPTS
ENTRYPOINT ["java", "$JAVA_OPTS", "-jar", "/app/app.jar"]需要动态参数时,可以让脚本最后使用 exec:
sh
#!/bin/sh
set -eu
# 完成证书、配置等启动准备后,用 Java 替换当前 Shell 进程。
exec java ${JAVA_OPTS:-} -jar /app/app.jarexec 用 Java 替换当前 Shell,而不是再创建一个由 Shell 等待的子进程,因此原来的进程编号得以保留。这样既能完成启动准备,也能让后续信号直接到达 Java。
${JAVA_OPTS:-} 在变量未设置或为空时使用空值。这里未加引号,有意让 Shell 把变量内容拆成多个参数;但它也可能发生通配符展开,变量中的复杂引用不能可靠地表达参数边界。该写法只适合受控的简单参数。更可靠的参数注入方式需要结合 JVM 和部署平台设计。
4. Kubernetes 如何终止一个 Pod
Pod 是 Kubernetes 调度和管理的一组容器。终止 Pod 时,平台要通知其中的进程停止,但等待时间有限。deletionTimestamp 表示对象已进入删除流程;PreStop Hook 是容器停止前执行的钩子。下面展示普通终止路径的简化流程:
图表将在阅读到此处时加载…
进程终止与流量摘除还涉及两条相互配合的链路。Endpoint 是服务可转发到的后端地址,其就绪状态变化需要传播到流量入口;Sidecar 是与业务容器配合运行的辅助容器,也有自己的停止过程。具体时序还涉及多个容器的终止顺序和运行时行为,不能把图中的流程当作所有组件严格同步完成的保证。Sidecar 生命周期语义随 Kubernetes 版本变化,目标环境应按实际版本确认。
terminationGracePeriodSeconds 指定 Pod 级终止宽限期,PreStop 执行也会占用这段时间。排查时应查看实际 Pod Spec(配置规格)和终止触发方式,而不是只记默认秒数。Probe(探针)触发的容器重启还可能使用 Probe 级宽限期设置;强制删除也需要单独分析,不能与普通 Pod 删除混为一谈。
5. Signal:应用必须理解的最小集合
Signal(信号)是 Unix-like 系统向进程通知事件的机制。应用能否执行清理取决于信号类型以及是否注册了相应处理逻辑。“能够捕获”不等于“已经实现优雅停机”。常见信号如下:
| 信号 | 常见用途 | 能否捕获并清理 |
|---|---|---|
| SIGTERM | 请求进程有序终止 | 通常可以 |
| SIGINT | 终端中断,如 Ctrl+C | 通常可以 |
| SIGHUP | 传统上表示终端断开,也常用于重载配置 | 通常可以 |
| SIGKILL | 强制终止 | 不可以 |
| SIGSTOP | 强制暂停 | 不可以 |
退出码 137 常被解释为 128 + 9,即进程因 SIGKILL 结束,但它不能单独证明一定是 OOMKilled。宽限期耗尽、管理员 kill -9、运行时强杀也可能产生类似结果。应结合 Pod Last State、Reason、Events 和 Kernel/cgroup 证据判断。
6. PID 1 的另一个责任:回收子进程
子进程退出后,父进程需要调用 wait() 等系统调用读取并回收其退出状态。在被回收前,子进程会处于 Zombie(僵尸)状态:它已经结束执行,但仍保留供父进程读取的退出信息。
孤儿进程则是父进程先退出、自己仍然存在的进程,不能与僵尸进程混为一谈。孤儿进程会被重新托管;PID Namespace 内的 PID 1 需要承担子进程回收责任,具体托管路径还可能涉及子进程收割器(subreaper)。
如果应用频繁启动外部命令,又没有正确等待,僵尸进程可能积累,最终触及 PID 限制。
可以用:
bash
ps -eo pid,ppid,state,cmd | awk '$3 == "Z"'观察僵尸进程。不同 ps 实现字段略有差异。
不方便修改应用时,可以使用轻量 init,例如 Docker 的 --init 或镜像中的 tini。init 是承担初始化与子进程管理职责的进程;这里主要利用它转发信号、回收子进程。使用后,init 通常成为 PID 1,业务进程作为它的子进程运行。应用仍必须实现停止接收新工作、等待在途工作和释放资源的协议。
7. 最小实验:Shell 是否转发 SIGTERM
7.1 Java 进程记录 Shutdown Hook
实验需要 Linux 环境、JDK 9 或以上版本(代码使用 ProcessHandle),以及支持下列参数的 ps。这组脚本用于观察信号和父子进程关系,不是完整的镜像构建示例;若要解释容器中的行为,还应在目标基础镜像和启动方式下对照观察。
保存为 SignalDemo.java。程序注册 Shutdown Hook 后,通过 CountDownLatch 持续等待,避免主线程立即退出;钩子中的一秒等待仅模拟清理耗时:
java
import java.time.Instant;
import java.util.concurrent.CountDownLatch;
public class SignalDemo {
public static void main(String[] args) throws Exception {
Runtime.getRuntime().addShutdownHook(new Thread(() -> {
System.out.println(Instant.now() + " shutdown hook started");
try {
Thread.sleep(1_000); // 模拟停止接流量和释放连接
} catch (InterruptedException e) {
Thread.currentThread().interrupt();
}
System.out.println(Instant.now() + " shutdown hook finished");
}));
System.out.println("pid=" + ProcessHandle.current().pid());
new CountDownLatch(1).await();
}
}编译:
bash
javac SignalDemo.java7.2 反例脚本:Shell 保持为父进程
sh
#!/bin/sh
java SignalDemo7.3 正例脚本:使用 exec 替换 Shell
sh
#!/bin/sh
exec java SignalDemo将两个脚本分别保存,在编译产物所在目录通过 sh 脚本文件名 逐一运行。每次重新启动一个实验进程,再用另一个终端查看进程树并发送信号:
bash
ps -o pid,ppid,stat,cmd --forest
kill -TERM 目标PID目标PID 是需要替换的占位符。先确认 PID 对应本次实验进程,再发送信号;分别比较向 Shell PID 和 Java PID 发送 SIGTERM 的结果。若脚本已经通过 exec 或 Shell 自身优化替换为 Java,就不再有独立的 Shell 父进程,应以实际进程树为准。
预期观察:在 JVM 正常处理 SIGTERM 且清理未被强制终止打断时,会依次打印 shutdown hook started 和 shutdown hook finished。若只向仍然存在的 Shell 发信号,而它未转发信号,Java 可能继续等待,也就没有钩子输出。Shell 类型、交互模式和实现会影响行为,因此结论应以目标基础镜像中的 Shell 为准。
8. Java/Spring 服务如何真正优雅退出
优雅退出的目标是在停止接收新工作的同时,给已经接收的工作留下有限的完成时间。这里的排空(drain)指等待这些在途工作结束,而不是简单等待固定秒数。典型 HTTP 服务的停止流程如下:
text
从服务发现或负载均衡中摘除
停止接受新请求
等待已接收请求完成
停止消费新消息
提交或放弃在途工作
关闭连接池、线程池和遥测导出器
进程退出这些步骤需要按应用依赖关系协调。若同一进程还消费消息,应把停止接收新消息纳入停止入口,避免 HTTP 请求已经排空,后台任务却继续增加。连接池等资源要等依赖它们的工作结束后再关闭。
Spring Boot 的 Web Server Graceful Shutdown(Web 服务器优雅停机)配置和默认行为随版本不同,应按项目实际版本确认。无论是否使用框架支持,都需要满足以下时间约束:
text
应用最长排空时间 < Pod 终止宽限期这只是必要条件,还要给 PreStop、Sidecar 和运行时停止留出时间。如果业务请求最长允许 30 秒,而终止宽限期只有 10 秒,就无法保证最长请求完成;设置宽限期时,应考虑终止发生那一刻请求可能剩余的处理时间。
9. 反例与正例
9.1 反例:后台启动并用 tail 保活
dockerfile
CMD java -jar /app/app.jar & tail -f /dev/nullShell 或 tail 可能维持容器主进程的存活,Java 崩溃后容器仍显示运行。此时运行状态和退出码反映的是包装进程,而不是 Java 的真实状态。
9.2 正例:业务进程前台运行
dockerfile
ENTRYPOINT ["java", "-jar", "/app/app.jar"]9.3 反例:无限等待在途请求
java
while (activeRequests.get() > 0) {
Thread.sleep(1000);
}这两段 Java 代码是停止流程中的局部片段,需要由应用提供线程安全的 activeRequests 计数器,并处理等待时的中断。如果某个请求卡死,计数始终不归零,这个循环就无法结束,最终可能耗尽宽限期并触发 SIGKILL。
9.4 正例:有界排空并记录未完成工作
java
long deadline = System.nanoTime() + java.time.Duration.ofSeconds(20).toNanos();
while (activeRequests.get() > 0 && System.nanoTime() < deadline) {
Thread.sleep(100);
}
System.out.println("remaining requests=" + activeRequests.get());生产实现还要停止接收新请求,处理线程可见性和并发竞态,并通过指标记录排空结果。
10. 排查容器异常退出的证据链
在能够访问目标 Kubernetes 集群的终端中,将 POD_NAME 替换为实际名称,并确认当前 Namespace(命名空间)。先收集状态、事件和上一实例的日志:
bash
kubectl get pod POD_NAME -o yaml
kubectl describe pod POD_NAME
kubectl logs POD_NAME --previous--previous 用于查看容器上一已终止实例的日志,需要该实例日志仍可用;多容器 Pod 还需要明确目标容器。重点字段:
state与lastState;exitCode、signal、reason;startedAt、finishedAt;- Restart Count;
- Events 中的 Probe、Eviction、Killing 信息。
lastState 描述上一次状态,reason 是状态原因,Events 是平台事件。它们帮助定位“何时、由谁触发停止”,但单个字段通常不足以解释整个故障。然后根据假设补充证据:
| 假设 | 证据 |
|---|---|
| OOM Kill | reason=OOMKilled、cgroup memory.events、节点 Kernel 日志 |
| 宽限期耗尽 | 终止时间线、应用未记录 SIGTERM、Kubelet/运行时日志 |
| 应用主动退出 | 应用日志、退出码、异常堆栈 |
| Probe 触发重启 | Events、Probe 失败次数、接口延迟 |
| 节点驱逐 | Pod Reason、Node Condition、Eviction Events |
表中的 memory.events 是 cgroup v2 的内存事件接口;cgroup 是 Linux 用于按进程组管理资源的机制,v1 环境需要查看相应接口。应用没有记录 SIGTERM 只是线索,也可能与日志丢失或未记录信号有关,不能单凭日志缺失认定宽限期耗尽。
节点日志的可访问方式随托管平台和权限变化;无权限时应通过平台日志或运维流程获取,不能为了排障直接授予业务人员宿主机 root。
11. 容易踩的坑
11.1 看到 137 就认定 Java 堆太大
137 只说明强制信号路径的可能性。必须区分 cgroup OOM、节点 OOM、宽限期结束和人工强杀。
11.2 PreStop 里固定 sleep 就算无损
Sleep 只能提供传播时间,不能证明负载均衡已经摘流,也不能确认在途请求完成。应观察 Endpoint 状态、入口连接和应用活跃请求。
11.3 把 SIGKILL 当作普通停止方式
SIGKILL 不能被捕获,数据库事务、缓冲日志和遥测数据都可能来不及处理。它适合终止无法退出的进程,不适合作为正常发布流程。
11.4 应用退出后容器还在 Running
常见原因是业务进程不是 PID 1,启动脚本或保活进程仍存活。检查完整进程树,不要只看容器状态。
11.5 忽略消息消费者和后台任务
HTTP Server 停止接流量不代表消息消费、定时任务和异步线程都已停下。每类工作都要定义停止、提交和恢复语义。
12. 总结
容器能否优雅退出,取决于终止信号能否到达真正的业务进程,以及应用能否在有限宽限期内完成有界排空。
可以带走的三个核心要点:
- 容器通常以 PID 1 的存活作为生命周期核心,业务进程应前台运行并正确接收 Signal。
- Exec Form 或脚本末尾的
exec能减少 Shell 对信号和退出码的干扰;PID 1 还要处理子进程回收。 - 退出码 137 不能直接等同于 OOM,必须结合 Last State、Events、cgroup 和终止时间线判断。
下一篇:提交 YAML 后发生了什么:Kubernetes 声明式 API 与控制循环。