外观
08 - 流量为什么总打到少数机器:负载均衡算法与容量陷阱
摘要
请求数接近,为什么仍有机器 CPU 爆满、响应越来越慢?关键在于每个请求消耗的资源不同,而机器的处理能力有限。本文先建立请求分配与排队的基本模型,再比较常见负载均衡算法,说明慢节点为什么会越积越慢,以及如何给它留出恢复空间。
1. 场景:每台机器请求数一样,负载却完全不同
设想三个订单实例每分钟都收到约一万请求,但其中一台命中了大客户批量查询,平均单请求 CPU 成本是其他机器的十倍。这里的实例是一个可接收请求的服务进程。同样的请求数,落到不同实例上,可能意味着完全不同的工作量。
负载均衡负责从候选实例中选出请求的接收者。选择可以发生在网关等入口,也可以发生在发起调用的客户端。它能改变请求去哪里,却不能让一个昂贵请求自动变便宜。
理解负载时,需要区分请求到达的速度、正在处理的请求数和等待处理的队列长度。如果持续到达的工作量超过实例的处理能力,来不及完成的请求就会积压。即使到达速度不变,实例处理变慢也会让请求占用资源更久,使并发和等待时间上升。
因此,请求数均匀只是分配结果的一种表现,资源消耗与排队是否均衡才关系到服务能否稳定运行。CPU、业务线程、内存或下游连接都可能成为瓶颈,选择算法时要先知道哪种资源限制了处理能力。
2. 常见算法
这些算法使用的信息不同:轮询按顺序选,权重表达预先设定的流量比例,连接数和近期负载反映运行状态,一致性哈希则优先保持业务数据与节点的对应关系。
2.1 Round Robin
Round Robin(轮询)按顺序依次选择实例,再从头开始,适合实例能力和请求成本接近的场景。它不读取当前队列或处理耗时;某个实例变慢后,只要仍在候选列表中,就会继续收到相同比例的请求。因此,请求数接近并不能保证工作量或等待时间接近。
2.2 Weighted Round Robin
Weighted Round Robin(加权轮询)按权重分配流量。权重表达期望的相对份额,例如权重为 5 和 1 时,目标比例是 5:1。它适合机器规格不同的场景,也可以用于灰度发布,即先让少量流量进入新版本,再逐步扩大范围。
静态权重只表达预先设定的比例,不能及时反映临时 GC(垃圾回收)、磁盘抖动或热点数据造成的处理能力变化。权重是否合理,需要结合实例实际承受的工作量判断。
2.3 Least Connections
Least Connections(最少连接)选择当前连接数较少的实例。如果连接数能够反映正在占用的处理资源,这个指标可以帮助避开较忙的实例。
但连接与请求不是同一个量。长连接可以保持打开而没有活跃请求;HTTP/2 的多路复用允许同一个连接同时承载多个流,每个流可承载一次请求与响应。因此,连接少的实例也可能正在处理很多请求。在这类协议下,应判断连接数是否足以代表负载,必要时统计活跃请求或流内并发。
2.4 一致性哈希
一致性哈希优先解决稳定路由问题。常见模型是把节点和业务 Key(用于路由的键,例如用户 ID 或缓存键)映射到一个哈希环上,再按环上的位置确定接收节点。节点增减时,通常只需重新分配部分 Key,而不必改变所有 Key 的归属。
当候选节点和映射规则不变时,同一个 Key 会路由到同一个节点。这有助于保持缓存命中,也能满足会话粘性,即相关请求尽量落到同一实例的需求;但节点变化后,路由仍可能改变。
稳定路由也会集中热点流量。如果某个大客户或缓存键的访问特别频繁,它对应的节点就可能过载。虚拟节点是让一个物理节点在哈希环上占据多个位置,用于改善哈希空间的分布;它不能把单个超级热 Key 的请求拆给多个实例。哈希空间分布均匀,也不等于业务访问量均匀。
2.5 Power of Two Choices
Power of Two Choices(两次随机选择)随机抽取两个候选实例,再选择其中负载较低者。每次只需比较两个候选,无须逐一比较所有实例。
负载指标可以是活跃请求数、队列长度或 EWMA 延迟。EWMA 是指数加权移动平均:近期样本的权重更高,较早样本的影响逐渐减弱,用来平滑短时波动。
这类策略能在采样到慢节点、且指标反映了它的压力时减少向它分配请求;效果取决于候选抽样方式、指标更新速度和指标本身是否合适。例如,响应延迟也可能受请求类型和下游耗时影响,不能直接把高延迟等同于实例 CPU 过载。只比较两个候选,也不保证每次都选中全局最空闲的实例。
3. 最小实现:平滑加权轮询
平滑加权轮询通过累计权重,让长期分配比例接近配置值,同时把选择尽量分散到各轮,减少连续选择同一节点的短时集中。
下面的 Java 示例使用 List.of,需要 JDK 9 或以上。输入是固定、非空的节点列表,权重为正整数;示例按单线程串行调用 select,并假定整数运算不溢出。
java
import java.util.List;
public class SmoothWeightedRoundRobin {
static final class Node {
final String name;
final int weight;
int current;
Node(String name, int weight) {
this.name = name;
this.weight = weight;
}
}
static Node select(List<Node> nodes) {
int total = 0;
Node best = null;
for (Node node : nodes) {
node.current += node.weight;
total += node.weight;
if (best == null || node.current > best.current) best = node;
}
best.current -= total;
return best;
}
public static void main(String[] args) {
List<Node> nodes = List.of(new Node("A", 5), new Node("B", 1));
for (int i = 0; i < 12; i++) System.out.print(select(nodes).name + " ");
}
}每轮先给各节点的累计值 current 加上自身权重,再选出累计值最大的节点,最后从被选节点的累计值中减去总权重。这样,其他节点在后续轮次就有机会被选中。累计值相同时,代码选择列表中先出现的节点。
current 记录的是分配算法的累计状态,不是节点的真实负载。对示例中的 A:5、B:1,12 次选择的预期输出如下,末尾有一个空格,没有换行:
text
A A A B A A A A A B A A该实现用于展示算法,不包含并发安全、节点变更和溢出处理。空列表会使 best 保持为 null,随后访问 best.current 时抛出空指针异常;多个线程同时修改 current 也无法保证分配结果。实际接入时需要处理这些边界。
4. 慢节点的正反馈
慢节点指仍能接收请求、但处理速度下降的实例。它与完全不可用的节点不同:存活检查可能通过,业务请求却已经开始排队。
如果新请求持续进入,而已有请求完成得更慢,活跃请求和等待队列就会增加。更多请求占用内存;在线程竞争加剧的情况下,上下文切换——CPU 在不同线程之间切换执行——也可能增加。额外开销又会拖慢处理速度,形成正反馈:压力增加导致更慢,更慢又使压力继续增加。
图表将在阅读到此处时加载…
这条反馈链是否出现,取决于资源瓶颈、线程模型和队列限制;不是每次延迟升高都会导致失控。但只按轮询继续分配请求,通常无法根据慢节点的状态主动减轻压力。
客户端可以根据近期错误率和延迟临时降低权重,并设置并发上限,限制同时占用资源的请求数。降权减少新请求进入,并发保护防止资源继续被占满,两者共同为已有请求完成和实例恢复留出空间。若所有实例都已达到容量上限,调整分配比例仍不能增加总容量,还需要限制进入系统的工作量。
恢复时也应逐步增加流量。健康检查通过只说明检查覆盖的条件成立,不代表实例已经预热完成或能够立即承受全量请求。重试还可能放大到达量,因此应检查重试是否再次命中同一故障实例,以及其他实例是否有能力接手。
5. Locality 与跨地域成本
Locality(本地性)是优先把请求发往较近位置的策略,例如优先同可用区调用。可用区是用于隔离部分故障的部署单元;区域通常包含多个可用区,跨区与跨地域的距离、故障边界和费用规则应分别判断。
同可用区调用通常有助于降低网络延迟,并可能减少跨区费用,具体取决于网络部署和计费规则。但本地容量不足时,严格本地优先会使本地实例继续排队,而远端实例仍有空闲容量。此时可以考虑把超出本地承载能力的流量分配到其他可用区或区域。
策略需要结合健康状态、剩余容量和故障域,即可能因同一原因一起受影响的资源范围。RTT(往返时延)只反映通信往返耗时,不能单独代表请求的排队时间、处理能力或故障风险。
6. 容易踩的坑
- 用请求数代表负载,忽略 CPU 时间、响应大小和下游成本。
- Least Connections 用于多路复用连接,却不统计流内并发。
- 健康检查通过就恢复全量权重,实例重新被打垮。
- 一致性哈希遇到热 Key 仍认为会自动均匀。
- 重试再次选择同一个故障实例。
- 发布期间新实例尚未预热就立刻接满流量。
7. 排障证据
先比较同一时间窗口内各实例的 QPS(每秒请求数)、请求类型和响应字节数,判断是请求数量倾斜,还是单个请求的成本不同。数量接近但某个实例 CPU 更高时,应进一步检查它是否承担了更多昂贵请求。
再对照活跃请求、队列长度、CPU、GC 和下游耗时,区分执行慢与等待久。如果 CPU 并不高,但请求仍大量积压,就不能只从 CPU 容量解释问题,还要检查业务线程、下游连接及依赖响应。
最后沿实际分配路径检查入口和客户端的候选列表、权重、哈希 Key、连接复用方式与重试目标。确认各调用方是否看到了相同的实例,以及最终选择了哪个地址,才能区分入口分配不均、客户端状态差异与业务数据热点。
8. 总结
负载均衡的目标不是平均分请求,而是避免任何实例的关键资源先进入排队失控。
算法选择要匹配请求成本、连接模型和会话粘性:轮询适合能力与成本接近的场景,动态负载指标有助于避开繁忙实例,一致性哈希则侧重稳定路由。慢节点需要减少新请求并限制资源占用,恢复时逐步增加流量;当整体容量不足时,仅靠重新分配请求无法解决过载。
下一篇:配置改了为什么有些实例没生效:配置中心的推送与一致性。