外观
33 - 自适应并发控制与过载保护
适用 JDK:核心方法与示例适用于 JDK 8+。本文讨论工程方法,不提供脱离业务负载的固定算法参数;生产实现应使用经过验证的库或网关能力。
摘要
下游变慢后,请求更久才能结束,新请求却仍在到达,系统可能逐渐排满队列。固定并发上限在正常时可能浪费容量,在下游退化时又可能过高。自适应并发控制根据延迟、排队和失败反馈,调整允许同时进行的请求数量,使容量限制随运行状态变化。
它的基本过程是“限制进入 → 观察结果 → 调整限制”。控制器只能根据已经收到的反馈做决策,不能提前知道下游容量;反馈滞后、流量变化和重试都可能让它反复扩大、缩小限制。因此,动态调整必须受固定硬边界约束,并保留失效回退和业务降级方案。
1. 为什么固定值会失效
在途请求是已经进入受保护操作、尚未结束的请求;QPS 表示每秒请求数,描述速率。两者不是同一个量:请求占用资源的时间越长,在相同进入速率下,同时未结束的请求通常越多。在系统较稳定、统计范围一致时,平均在途数可近似理解为进入速率乘以平均占用时间;持续积压时,不能直接把外部到达率当成实际进入速率。
例如,下游处理时间从 20ms 上升到 500ms 时,若仍以相同 QPS 进入下游,请求会更久地占用资源。这两个数值用于说明机制,不是本文的实测记录。若保持固定并发上限,名额释放变慢,新请求就更容易等待或被拒绝;允许排队时,排队和超时可能迅速增长。若此时直接把上限调大,又会允许更多调用同时压向已经变慢的下游。
实现上要区分目标并发值和实际在途数。前者是当前允许进入的数量上限,后者是仍在执行的数量。并发门负责请求准入,即决定新请求能否进入:有名额才放行,没有名额则按业务策略有限等待、拒绝或降级。降低目标值主要限制后续进入,并不意味着已经执行的调用立即停止;在途计数应覆盖实际受保护操作的生命周期。
固定值仍是重要安全边界。自适应控制不是取消上限,而是在最小值和最大值之间寻找当前负载下更合适的工作点。
2. 可用反馈信号
- 请求完成延迟及其分位数,用于观察典型耗时和较慢请求;
- 无排队或低负载时的基线延迟,即用于比较当前耗时的参考值;
- 线程池、连接池或本地队列等待时间;
- 超时、拒绝和错误率;
- 当前在途数与完成速率;
- 下游主动返回的过载信号。
长尾延迟指少量请求明显慢于多数请求的现象,平均值容易掩盖这部分等待;仅使用错误率,又可能在“调用仍成功、但越来越慢”时错过退化信号。还要结合在途数和完成速率判断负载状态,不能把所有耗时变化都解释为容量不足。
反馈窗口是一次决策所使用的采样时间段。窗口过短,个别慢请求容易影响决策;窗口过长,真实退化又可能迟迟反映不出来。窗口需要兼顾样本稳定性和响应速度。
2.1 先定义测量边界
先明确保护哪一种资源,以及计时从哪里开始、到哪里结束。“延迟”可能指入口排队、获取许可、连接池等待、下游处理或端到端总耗时。若控制器位于本地队列之后,且只从获得准入后开始计时,就看不到之前的排队等待,反馈会过晚。
应同时保留端到端延迟和被保护资源的服务时间:前者描述请求整体体验,后者帮助判断资源本身是否变慢。只采集成功请求还会产生选择偏差,即样本遗漏了某类请求:最慢请求可能已超时或取消,恰好没有进入成功样本,使观察结果显得比实际更健康。
3. 调整思路
控制器不是每次看到波动就立即改值,而是在反馈窗口内汇总信号,再决定是否调整目标并发。常见控制思路包括:
- 无排队且成功率稳定时缓慢增加;
- 延迟相对基线上升、出现排队或过载错误时减少;
- 使用加性增加、乘性减少:增加时每次加一个受控步长,减少时按当前值的一定比例收缩,避免一次扩张过大;
- 对结果做平滑,即综合多个样本减少短时波动的影响,并限制单次调整幅度和调整频率。
这些只是控制策略类别,不是通用参数公式。长连接本来就可能持续很久,批处理会改变单次请求的工作量,缓存命中变化会改变实际执行路径,突发流量会增加短时等待。因此,延迟上升需要结合请求类型和其他反馈解释,不能机械地等同于下游过载。
4. 必须保留的硬护栏
自适应控制器仍需要:
- 最小和最大并发边界;
- 请求 Deadline(截止时间,即请求最晚应在何时结束)与排队上限,防止等待无限消耗时间和内存;
- 最大调整速度;
- 指标缺失或控制器异常时的安全默认值;
- 手工冻结和回退能力;
- 按实例启动时的冷启动策略,即在尚未积累足够反馈时采用受控的初始并发。
实例级限制不等于下游的总容量限制。如果每个实例独立增加并发,扩容瞬间可能让集群总并发成倍增长。目标值应结合实例数、下游总容量和负载均衡分布评估,不能只看单个实例是否健康。
并发门应尽量位于昂贵资源和长队列之前。请求先进入无界队列、排队数秒后才检查自适应上限,已经失去了快速过载保护的意义。
5. 避免反馈振荡
反馈振荡是目标并发反复扩大、缩小,却难以稳定的现象。例如,控制器增加并发后,要等请求完成才能看到延迟变化;若旧反馈仍显示健康,它可能继续增加。等变慢的结果集中返回时,又可能连续收缩。因此,调整速度必须考虑反馈到达的滞后。
立即重试会把拒绝信号转成更高到达率,抵消减少准入的效果。自动扩容、客户端负载均衡和下游自适应限流也可能与本地控制器互相影响。这些组件各自构成“观察结果再调整行为”的控制环;多个控制环周期接近时,系统可能反复扩张和收缩。
重试应使用抖动退避,即延迟再次尝试,并加入随机变化,减少大量客户端同时重试。还应避免在同一时间尺度上让多个组件激进调参。算法变化需要灰度发布,即先对部分实例或流量启用,再逐步扩大范围,不能直接全量自动接管。
低流量时样本不足,延迟波动可能主要来自冷启动、连接建立或 GC(垃圾回收),而不是容量边界。控制器应有最小样本要求,并在信号不足时保持或缓慢回到安全值,避免根据一两个请求剧烈调整。
6. 验证场景
- 下游延迟逐步升高与瞬时尖峰;
- 成功但变慢、快速失败和部分超时三种退化;
- 实例扩缩容及流量重新分配;
- 缓存命中率突变和批量任务混入;
- 指标延迟、缺失或异常值;
- 控制器重启后的初始并发。
以上是验证建议,本文未执行这些场景,也未提供实测结果。对每个场景,应在可比较的负载和环境下,对照固定上限与自适应策略的吞吐(单位时间完成的请求数)、P99、错误率、队列年龄和下游负载。P99 是延迟的第 99 百分位数,即约 99% 的观测值不超过该值;队列年龄描述请求已经等待多久,使用时要明确统计对象和方式。
目标并发变小不等于保护有效,还要看等待、错误和下游压力是否得到控制;吞吐增加也不代表延迟和可靠性满足业务要求。
6.1 先影子运行
影子运行是只计算并记录决策,不让决策改变实际请求准入。上线初期可只计算“建议并发值”而不真正拦截请求,将建议值与固定上限下的实际结果对比。这可以检查指标完整性和调整方向,但流量仍由固定上限决定,不能据此证明启用后的闭环行为。确认这些检查满足要求后,再按实例或流量比例逐步启用,并验证是否出现振荡。
需要记录每次决策的输入窗口、旧值、新值和触发原因,使异常收缩或扩张能够复盘。控制器不可用时应自动回退到经过容量验证的固定上限,而不是放开限制。
7. 与其他保护机制组合
自适应并发控制限制后续请求进入,仍需配合 32 - 舱壁隔离与执行器分池划分资源份额,限制一类故障能影响的范围。对于已经发生的慢调用与失败,还要结合超时、退避、熔断和降级:超时限制等待预算,退避控制再次尝试的节奏,熔断在失败或慢调用达到条件后暂时阻止调用,降级决定无法正常调用时业务如何响应。
8. 总结
自适应并发控制是带反馈的容量调节器,不是能够预测所有负载的万能算法。
- 固定硬上限、Deadline 和降级始终保留。
- 延迟、排队、错误和在途数应共同构成反馈。
- 防振荡、灰度和失效回退与算法本身同等重要。