外观
18 - 滚动发布为什么仍会中断请求:Deployment、Endpoint 与优雅终止
摘要
Deployment 显示滚动发布成功,用户为什么仍收到少量 502?因为“有足够副本可用”和“旧副本上的请求已完成”是两件事。本文先解释新旧副本如何替换,再分析流量摘除与应用退出之间的时间窗口,最后用慢请求示例说明如何观察优雅终止:停止接收新工作,并给已接收的工作留出完成时间。
1. 场景:副本始终够用,为什么还有 502
服务有 6 个副本,Deployment 的 spec 中配置如下:
yaml
strategy:
rollingUpdate:
maxSurge: 1
maxUnavailable: 0发布期间 Ready(就绪)副本看起来从未低于 6,入口仍出现少量 connection reset by peer,即连接被对端重置。副本数量只描述 Pod 状态;即使其他副本能够接收新请求,也无法接手旧副本上正在处理的请求。所谓排空,就是停止接收新工作后,等待已有请求或任务结束。
典型时间线:
text
旧 Pod 进入 Terminating
→ Endpoint 更新尚在传播
→ 入口仍有旧连接或在途请求
→ 应用收到 SIGTERM 后立即退出
→ 连接被重置2. Deployment 如何滚动更新
Deployment 声明应用需要多少副本,以及每个副本应使用什么镜像和配置。Pod Template(Pod 模板)描述单个副本;ReplicaSet(副本集)负责维持使用同一模板的 Pod 数量。修改模板后,Deployment Controller(控制器)创建新 ReplicaSet,并逐步增加新副本、减少旧副本,而不是一次关闭全部旧实例。
图表将在阅读到此处时加载…
maxSurge:期望副本数之外最多额外创建多少 Pod;maxUnavailable:发布期间最多允许多少期望副本不可用。
在前面的 6 副本配置中,控制器可以先增加一个新副本,等它可用后再减少旧副本。这样做需要额外的调度资源;如果新 Pod 无法创建或一直不可用,更新就可能停住。
字段可用整数或百分比,舍入规则和边界以 Kubernetes 版本文档为准。它们是更新过程中的副本控制参数,不是任意时刻的资源占用上限:正在终止的 Pod 仍可能占用资源。maxUnavailable: 0 也不能解决连接排空、错误的健康探针(Probe)或下游容量问题。
3. 新 Pod 什么时候算可用
容器启动只说明进程已经运行。Readiness Probe(就绪探针)用于判断应用此刻能否接流量,Pod 的 Ready 状态则反映就绪条件。Deployment 统计 Available(可用)副本时,还可以通过 minReadySeconds 要求 Pod 连续 Ready 一段时间。因此,启动、就绪和可用是不同的判断。
yaml
spec:
minReadySeconds: 15这里的 15 秒给新副本留出一个稳定观察窗口,降低“刚 Ready 就崩溃”导致更新过快推进的风险,但它不会主动验证真实业务流量。Readiness 应检查预热是否完成、线程池能否服务,以及接流量所必需的依赖是否可用;仅检查进程存在,会让尚未具备服务能力的副本过早接收请求。
4. Pod 终止不是一个原子动作
Service 提供稳定的访问入口,Endpoint 表示其后端地址;EndpointSlice 将这些地址及状态分组保存。Ingress 是集群入口代理,Service 数据平面则负责实际转发流量。Kubelet 是节点上管理 Pod 容器的组件。删除 Pod 后,一条路径更新后端地址状态,另一条路径终止容器,两者由不同组件推进:
图表将在阅读到此处时加载…
deletionTimestamp 表示 Pod 已进入删除流程,Terminating 表示它正在终止。SIGTERM 是请求进程终止的信号,应用需要在退出前完成清理。图中的 PreStop 和 SIGTERM 属于容器终止路径,不表示流量传播已经结束。
Endpoint 摘除与容器终止没有一个跨组件全局事务:地址状态改变后,代理更新转发规则仍需要时间,而且已有连接上的在途请求不会因此自动结束。不同 Kubernetes 版本对终止中端点的状态条件(Terminating Endpoint Conditions)和流量处理能力有所增强,但入口、Service Mesh(服务网格)和外部 LB(负载均衡器)是否使用这些信号取决于实现。
5. PreStop 不是“先执行完再开始所有其他动作”
PreStop Hook 是容器停止前执行的生命周期钩子。在正常的优雅终止流程中,Kubelet 先执行配置的 PreStop,再请求容器进程终止;这不意味着其他组件会等 Hook 完成后才摘流。Hook 耗时也计入 Pod 终止宽限期,即 terminationGracePeriodSeconds 指定的退出时间预算。若 Hook 花 20 秒、应用随后排空需要 20 秒,而预算只有 30 秒,最终仍可能被强杀。
固定 sleep 的作用通常只是给 Endpoint 传播留时间:
yaml
lifecycle:
preStop:
exec:
command: ["sh", "-c", "sleep 5"]这个 exec Hook 要求镜像中有 sh 和 sleep。固定等待不能证明所有代理已摘流,也不主动停止应用接收新连接。应用的目标流程是:
text
应用进入 NotReady/Draining
→ 停止接受新业务
→ 等待入口和服务发现传播
→ 排空已接收请求
→ 关闭连接池和进程NotReady 表示不再就绪,Draining 表示正在排空。两者需要配合:让就绪探针失败只是通知路由组件,应用还需要控制新业务的接收,同时允许已接收请求完成。传播等待应与入口实现及观测结果匹配,排空也必须有截止时间,不能无限延长退出。
6. 最小 Java 服务:观察慢请求能否完成
下面的 GracefulDemo.java 片段使用 JDK 的 jdk.httpserver 模块,展示就绪接口、慢请求与 JVM Shutdown Hook(退出钩子)的关系。/ready 根据标志返回 200 或 503,/slow 等待 10 秒再返回 finished。
片段需要补齐异常处理后才能编译:/slow 中的 Thread.sleep 会抛出 InterruptedException,处理器的异常声明不能直接覆盖它。处理时还应定义被中断请求如何结束。退出钩子的核心顺序是将就绪标志设为 false、等待 5 秒,再调用 server.stop(15) 有界等待交换完成:
java
import com.sun.net.httpserver.HttpServer;
import java.net.InetSocketAddress;
import java.time.Duration;
import java.util.concurrent.Executors;
import java.util.concurrent.atomic.AtomicBoolean;
public class GracefulDemo {
public static void main(String[] args) throws Exception {
AtomicBoolean ready = new AtomicBoolean(true);
HttpServer server = HttpServer.create(new InetSocketAddress(8080), 0);
server.setExecutor(Executors.newFixedThreadPool(8));
server.createContext("/ready", ex -> {
int status = ready.get() ? 200 : 503;
ex.sendResponseHeaders(status, -1);
ex.close();
});
server.createContext("/slow", ex -> {
Thread.sleep(10_000);
byte[] body = "finished".getBytes();
ex.sendResponseHeaders(200, body.length);
ex.getResponseBody().write(body);
ex.close();
});
Runtime.getRuntime().addShutdownHook(new Thread(() -> {
ready.set(false); // 让就绪接口返回 503
try { Thread.sleep(5_000); } // 给传播留出实验窗口
catch (InterruptedException e) { Thread.currentThread().interrupt(); }
server.stop(15); // 有界等待交换完成
}));
server.start();
}
}补齐异常处理后,可在带有 jdk.httpserver 模块的 JDK 环境中编译、启动:
bash
javac --add-modules jdk.httpserver GracefulDemo.java
java --add-modules jdk.httpserver GracefulDemoready.set(false) 不会直接关闭监听端口,也不会拒绝 /slow 请求;等待期间仍可能收到新请求。这个教学片段只展示退出过程,不能直接作为生产服务的完整排空实现。真实框架还要处理 Keep-Alive(连接复用)、HTTP/2、异步任务、线程池资源释放和新连接的接收边界。
7. Kubernetes 配置示意
下面是 Pod spec 的配置片段;放入 Deployment 时,它位于 spec.template.spec 下。它不包含完整 Deployment、Service 或 Ingress 定义,也未配置第 5 节的 PreStop。实验需要测试集群、kubectl、curl 和可访问的服务入口,并将应用构建为能够在终止时收到信号的容器镜像。
yaml
terminationGracePeriodSeconds: 30
containers:
- name: app
image: registry.example.com/graceful-demo:请替换版本
ports:
- {name: http, containerPort: 8080}
readinessProbe:
httpGet: {path: /ready, port: http}
periodSeconds: 2
failureThreshold: 1替换镜像版本、入口地址与 Pod 名称,所有操作使用同一测试命名空间。先在一个终端发起 /slow 请求,再在另一个终端于请求处理期间删除明确的 Pod;不要等 curl 返回后才删除:
bash
curl -v http://入口地址/slow
kubectl delete pod POD_NAME有多个副本时,请先通过日志等方式确认请求落在将要删除的 Pod,否则删除其他副本不能验证该请求的排空行为。不要使用强制删除或零宽限期替代正常终止流程。
预期结果:若请求已被该 Pod 接收、剩余处理时间落在排空与终止预算内,且代理没有提前断开连接,客户端应收到 HTTP 200 和 finished。同时观察应用何时收到 SIGTERM、EndpointSlice 何时改变,以及请求是否完成;观察这些时刻需要相应日志或监控。第 5 节的 PreStop 若也加入配置,其耗时需一并计算。不要在生产环境随意删除 Pod 做实验。
8. 长连接与异步工作更复杂
停止监听端口可以阻止新连接,但已有长连接仍可能承载新工作。HTTP/2 可在同一连接上传输多个请求,gRPC 常基于它实现远程调用;WebSocket 则维持双向通信。因此,这些协议与消息消费者需要分别定义排空方式:
- gRPC 可通过 HTTP/2 的 GOAWAY 信号通知对端连接将关闭,引导客户端新建连接;
- WebSocket 需要业务关闭协议和重连策略;
- 消费者应停止拉取新消息,再提交或回滚在途消息;
- 后台任务需定义能否中断、如何续跑;
- Sidecar(与应用同 Pod 的辅助容器)或代理的退出顺序必须避免先于应用断链。
具体框架和 Mesh 的 drain 配置依版本变化,应在发布演练中验证。
9. 发布卡住如何排查
先区分“控制器无法推进副本替换”和“替换成功但请求出错”。下面的命令用于前者;将 APP 分别替换为实际 Deployment 名、标签值和 Service 名,它们不一定相同,并保持命名空间一致。
bash
kubectl rollout status deployment/APP
kubectl describe deployment APP
kubectl get rs -l app=APP
kubectl get pod -l app=APP -o wide
kubectl get endpointslice -l kubernetes.io/service-name=APP图表将在阅读到此处时加载…
progressDeadlineSeconds 用于判定发布没有进展,不会自动回滚所有失败版本;流水线需要明确失败处理。
图中的 Scheduled 表示已调度到节点,Admission 是 API 请求写入前的准入检查,Runtime 是容器运行时。PDB(PodDisruptionBudget)限制的是受支持的自愿中断操作;排查涉及驱逐或节点维护的流程时需检查它,不能直接把它当作 Deployment 滚动更新副本数量的控制参数。若更新已经成功而请求仍失败,应回到第 4~7 节检查摘流和终止时间线。
10. 反例与正例
反例:收到 SIGTERM 立即 System.exit(0)
如果应用在处理 SIGTERM 时调用 System.exit(0),却没有在退出钩子中等待在途请求,退出码为 0 也不代表请求完整。进程退出会中断尚未完成的请求,代理可能返回 502;System.exit(0) 本身不能替代排空流程。
正例:有界排空
text
标记 NotReady
停止接收新任务
等待在途工作到 deadline
记录剩余任务
关闭资源
正常退出11. 容易踩的坑
11.1 maxUnavailable: 0 等于零错误发布
它只约束可用副本计数,不保证连接和请求完整。
11.2 PreStop sleep 占满宽限期
应把 Hook、传播等待和应用排空放在同一时间预算内设计,避免只增加 sleep,却没有给请求完成留下余量。
11.3 Readiness 只检查进程存在
应让探针反映接流量的必要条件,并观察新副本接流量后的错误率和延迟;进程存活不能证明它已经预热完成。
11.4 只测短请求
短请求可能刚好在退出前完成,掩盖时间窗口问题。应覆盖慢请求、上传下载、长连接和消息任务,并确认工作确实落在被终止的副本上。
11.5 回滚只改镜像
数据库 Schema(表结构)、配置和外部协议可能已与旧版本不兼容。应设计新旧版本并存期间的兼容窗口,避免镜像回退成功后,业务仍因数据或协议不兼容而失败。
12. 总结
滚动发布保证的是副本状态逐步替换,不自动保证每条连接和在途请求无损。
可以带走的三个核心要点:
maxSurge与maxUnavailable控制副本数量,不负责连接排空。- Endpoint 摘除和容器终止并行传播,应用必须先停接新流量再有界等待在途请求。
- 无损发布必须用真实慢请求、长连接和依赖场景演练,不能只看 Rollout Success。
下一篇:StatefulSet 不只是“有状态 Deployment”:稳定身份与有序更新。