外观
14 - 限流不是简单拒绝请求:Token Bucket、Leaky Bucket 与滑动窗口
摘要
每分钟通过的请求数没有超额,后端仍可能被几秒内集中到达的请求压垮。限流需要同时回答:按什么范围统计请求、允许多大的突发,以及额度耗尽后如何处理。本文先建立请求准入的基本模型,再比较固定窗口、滑动窗口、漏桶和令牌桶,最后说明多实例配额与容量保护如何配合。
1. 场景:一分钟 6000 次,边界两秒却来了 2000 次
假设接口按自然分钟划分窗口,每分钟最多放行 6000 次。QPS(Queries Per Second)在这里指每秒请求数;把分钟额度折算成平均值是 100 QPS,但这不代表任意一秒都只能通过 100 次。
例如,12:00:59 通过 1000 次,12:01:00 又通过 1000 次,两秒内就通过了 2000 次,两个分钟窗口却都没有超额。更极端时,请求可在 12:00:59 用完上一窗口的 6000 次额度,又在 12:01:00 用完下一窗口额度,两秒内通过 12000 次。如果下游承受不了这种突发,线程、连接或队列就可能被占满。
原因是固定窗口分别统计相邻区间:上一窗口末尾用了多少额度,不影响下一窗口重新获得完整额度。因此,“每个自然分钟最多 6000 次”不等于“任意连续一分钟最多 6000 次”,更不保证请求均匀到达。
限流的基本模型是请求准入:请求到达后,先检查对应范围内是否还有额度;有额度就更新状态并放行,没有额度就拒绝,或按设计进入有界等待队列。 配额是允许通过的请求数量,突发是短时间内集中到达的一批请求。限流器应放在所保护的昂贵操作之前,否则拒绝时资源可能已经消耗了。
速率限制也不能替代并发保护。并发数指同时尚未完成的请求数量;下游变慢后,即使每秒进入的请求数不变,未完成请求仍会积累。因此,容量保护还需要约束并发和排队长度,限流阈值则要结合请求耗时、资源消耗与下游能力设定。
2. 四类算法
四类算法的主要区别,在于如何恢复额度、是否允许集中放行。滑动窗口又有逐条记录和分桶计数两种常见实现:
| 算法 | 如何判断或调度请求 | 代价/边界 |
|---|---|---|
| 固定窗口 | 在固定时间区间内计数,新窗口重新获得额度 | 状态少、计数便宜,但存在窗口边界突刺 |
| 滑动日志 | 保存已放行请求的时间戳,每次统计最近一段时间 | 可精确统计窗口内数量,内存和操作成本较高 |
| 滑动窗口计数 | 把时间切成小桶,汇总最近窗口覆盖的桶 | 减少逐条记录的开销,但窗口边缘存在近似误差 |
| 漏桶 | 请求进入有界队列,再按稳定速率流出 | 平滑输出,但突发请求需要等待,桶满后拒绝或丢弃 |
| 令牌桶 | 按固定速率补充令牌,请求取得令牌后立即通过 | 控制长期速率并允许有限突发,需分别配置速率和桶容量 |
滑动窗口中的“滑动”,是指每次请求都以当前时间为终点回看最近一段时间。旧记录随时间逐步退出窗口,额度也逐步恢复,不会在自然分钟边界一次性恢复全部额度。不过,滑动窗口仍允许剩余额度集中使用,不能保证下游匀速接收请求。
这里的漏桶(Leaky Bucket)指排队并定速流出的模型。它通过等待换取平滑输出,必须限制队列长度和等待时间。如果实现只计算是否允许接收请求,没有实际队列与定速出队机制,就不能据此认为输出已经被平滑。
令牌桶(Token Bucket)中的令牌是放行许可。补充速率决定额度恢复多快,桶容量决定空闲后最多积累多少额度。例如,容量为 2、每秒补充 1 个令牌,满桶时可立即放行两个请求;额度用完后,需要等待令牌恢复。空闲再久也只能攒到 2 个,因此桶容量直接决定允许的突发规模。
如果要限制最近一段时间的请求总数,可以考虑滑动窗口;如果要平滑输出,可以考虑排队式漏桶;如果允许请求立即通过、但希望约束突发规模,可以考虑令牌桶。选择算法前,应先明确下游能接受怎样的流量节奏。
3. Java 令牌桶最小实现
下面是没有运行入口的 Java 教学类,仅使用 JDK 标准库。调用方应提供至少为 1 的 capacity,以及正的有限数值 tokensPerSecond;代码本身没有参数校验。每次请求消耗一个令牌,tryAcquire() 返回 true 表示取得许可,返回 false 表示当前额度不足,调用方负责决定拒绝响应。
java
public final class TokenBucket {
private final double capacity;
private final double tokensPerNano;
private double tokens;
private long lastRefill = System.nanoTime();
public TokenBucket(long capacity, double tokensPerSecond) {
this.capacity = capacity;
this.tokens = capacity;
this.tokensPerNano = tokensPerSecond / 1_000_000_000D;
}
public synchronized boolean tryAcquire() {
long now = System.nanoTime();
tokens = Math.min(capacity, tokens + (now - lastRefill) * tokensPerNano);
lastRefill = now;
if (tokens < 1) return false;
tokens -= 1;
return true;
}
}tokens 保存当前令牌数,初始化时为满桶;tokensPerNano 把每秒补充速率换算成每纳秒补充速率。这里没有后台线程生成令牌,而是在请求到达时,用“经过时间 × 补充速率”计算应恢复的额度,再用 Math.min 限制到桶容量。
System.nanoTime() 用于计算经过时间,不表示日历时间。synchronized 让同一个对象上的补充、判断和扣减串行执行,避免多个线程同时取得同一份额度;它只保护这个对象,不会把其他对象或其他实例的配额合并起来。
例如,容量为 2、每秒补充 1 个令牌时,在没有并发竞争、从首次扣减到第三次判断之间累计不足以恢复一个完整令牌的条件下,满桶后的前三次调用预期返回 true、true、false。恢复至少一个令牌后,下一次调用可以再次成功。这是按时间推导的预期结果,实际调用结果还取决于调用间隔。
生产实现还要处理多令牌请求、数值精度、动态配置和高并发争用。配置更新时也要定义已有额度如何迁移,避免把每次更新都变成一次满桶重置。
4. 分布式限流
多实例各自限 100 QPS,限制的是每个实例的流量。若有 N 个实例都收到足够请求,各自的持续速率额度合计为 N × 100 QPS;桶容量允许的突发另计。因此,扩容会改变总额度,本地限流不能直接保证固定的全局配额。
若业务要求所有实例共享同一份额度,例如同一租户跨实例的总请求数受限,就需要协调状态。可在 Redis 等集中存储中使用 Lua 脚本,把“补充令牌 + 判断 + 扣减”作为一次原子操作执行。原子意味着其他请求不能插入这些步骤之间,否则多个实例可能都看到余额足够,再重复扣减同一份额度。
集中方案增加了一次网络调用和故障依赖。共享限流状态不可用时,要明确是拒绝请求,还是在本地保护下继续有限放行;后者能维持部分服务,但不能继续承诺严格的全局配额。即使中央判断正常,本地并发与队列保护仍有必要。
常见折中是把全局额度按实例租赁:实例先取得一小份额度,再在本地消费;或采用本地快速限流加中央周期调节,定期调整各实例额度。这些方案减少逐请求的协调开销,但需要处理额度分配不均、租约到期和实例退出等情况。是否允许临时超额、未用额度何时回收,都应由配额协议明确。
Redis 方案还需要按所用版本和部署方式确认时间来源、Redis Cluster 中 Key 的路由及脚本行为。Key 是保存限流状态的键;涉及多个 Key 时,要满足集群对脚本访问键的路由约束。跨实例也不能直接比较各进程的 System.nanoTime() 值来计算共享额度。
5. 应按什么维度限
限流维度决定哪些请求共用一份额度。常见维度包括接口、租户、用户、IP、区域和下游资源。例如,接口总额度保护整体容量,租户额度防止一个租户占满资源,下游资源额度则限制进入某个数据库或远端服务的请求。
这些维度可以组合使用:请求既要通过接口总限流,也要通过租户限流。仅限制总 QPS,仍可能让单个租户消耗掉所有额度,其他租户即使流量很小也无法进入。
维度越细,状态基数越高,即需要保存的不同计数器或桶越多。如果直接为任意用户输入创建 Redis Key,攻击者可不断改变标识,消耗限流器自身的内存。应根据可信身份选择维度,并设置状态过期、数量约束或聚合策略;也要明确过期后重新创建状态是否会恢复完整额度。
6. 拒绝后做什么
拒绝响应是限流协议的一部分。在 HTTP 接口中,可返回 429(Too Many Requests,请求过多)或明确的业务错误;有可靠等待时间时,携带重试提示,让客户端知道何时再尝试。客户端应采用退避,也就是失败后等待一段时间再重试,避免立即重试把被拒绝的流量重新打回来。
服务端应记录被限维度和原因,区分额度不足、中央限流不可用等情况,便于判断阈值是否合适。对业务允许降级的请求,可以返回缓存或简化结果;降级是用成本更低、仍符合业务要求的结果替代完整处理,不能伪造关键数据。
不要把大量被拒绝请求塞进无界队列。队列只推迟工作,不会增加处理能力;持续超载时,积压会消耗内存,并让请求在执行前就超过客户端的等待期限。确实需要排队时,应同时限制队列长度和最长等待时间,超过限制就明确失败。
7. 容易踩的坑
- 只看平均 QPS。 平均值会掩盖短时突发,下游变慢时还会积累并发请求。
- 桶容量过大。 长期速率合适,仍可能一次放行超过下游承受能力的突发。
- 配置重载时全部重置为满桶。 多实例同时获得完整突发额度,可能形成集中冲击。
- 中央限流失败时全部放行。 没有本地保护,限流依赖的故障会直接暴露下游容量。
- 按高基数标识无限创建计数器。 限流状态本身也可能耗尽资源。
- 客户端无退避重试。 被拒绝的请求持续返回入口,扩大流量压力。
8. 总结
限流是在资源耗尽之前,主动决定哪些请求现在可以进入。 先明确统计范围、额度恢复方式和允许的突发,再选择算法;需要全局配额时,还要定义跨实例协调与故障策略。
容量保护则要把速率限制、并发约束、有界排队和拒绝后的客户端退避配合起来。这样才能既控制进入下游的流量,也限制慢请求与重试持续占用资源。
下一篇:熔断、隔离和降级分别解决什么问题。