外观
为查询服务建立性能预算:固定到达率、尾延迟与容量边界
摘要
查询函数已经变快,接口却仍在高峰超时。本篇面向有研发经验的 Python 学习者,用可运行的本地压测建立负载模型、识别排队和拒绝,并以同条件复测判断优化是否真正有效。
场景:平均响应下降,用户超时反而增加
下面是教学场景。日志查询服务用 Counter 替换重复扫描,单函数明显减少工作量;上线前测试只看成功请求平均延迟,觉得可以增加并发。模拟慢下游以后,成功请求看起来依旧很快,却出现大量 503。如果报告把失败请求删掉,服务似乎“越忙越快”。问题不是统计函数不准确,而是压测回答了错误的问题:少数被接纳的请求多快,不等于所有到达请求都得到了可靠服务。
先用两本账判断“变快”:所有计划到达最终去了哪里,被正确接纳的请求又花了多久。第一本检查计划、舍弃、成功与失败是否闭合;第二本才比较延迟。只看成功p50会把快速拒绝误认为服务改善,只看完成数量则可能遗漏越来越长的等待。两本账必须来自同负载窗口。
前置性能测量与热点分析固定局部函数的输入与计时边界,本篇把边界扩到到达、排队、处理和退出。下面只改变计划到达率或受控等待,提前预测计数和尾部可能怎样分叉,再读取实际数组。负载、机器和预算仍要自己声明,不从教学窗口推出通用QPS。
基础:先写预算,再挑工具
性能预算是对特定工作量的可检验约定。例如查询最近一天数据,输入上限、结果分页和依赖超时都有边界;目标同时涉及成功率、成功请求尾延迟、持续吞吐和资源上限。SLO(Service Level Objective,服务等级目标)必须明确测量窗口和失败归类。把业务允许的错误率、p95、内存上限写清以后,才能决定是否达标;不能测完以后挑一个最好看的指标作为目标。
Latency 是一次操作的经过时间,Throughput 是窗口内完成的操作数。p95 表示按选定定义排序后约九成五样本不超过的延迟,它不是平均值加一个固定系数。本文采用 nearest-rank(最近秩)算法,索引为向上取整的 n*q 再减一;样本很少时 p99 可能就是最大值,不能据此声称尾部估计稳定。不同工具的插值算法可能不同,应保留原始数组而非只保留最终分位。
预算还必须包括失败。HTTP 503、连接错误、超时和压测端主动丢弃分别记录,不能都算成“无响应所以忽略”。对成功样本报分位,同时另报失败比例和全体终结结果;如果业务将超时作为严重体验损失,可以再定义包含超时下界的指标。不要把不存在的完整响应时长补造为某个固定值。阶段 p99 也不能直接相加,因为各阶段最慢请求未必是同一请求。
原理:负载模型决定你能看见什么
Closed-loop(闭环)模式通常固定并发数,客户端收到响应才发下一个请求。服务变慢时,请求产生速度也降低。Open-loop(开环)模式按计划到达率发请求,服务变慢并不会自动停止新的到达。真实业务可能混合两者,因此测试前需要声明是哪一种。本篇按固定到达率调度,且把客户端提交数量设上限;到达超过客户端能力时记录 shed,不以无限 Future 堆积拖垮本机。
Coordinated omission(协调遗漏)指测试器因等待慢响应而遗漏原本应到达的请求,最终低估用户可能经历的等待。本例同时保存计划时间、真正发送时间和结束时间:端到端延迟从计划时间算起,网络调用时间从真正发送算起,差值是客户端调度等待。这样能识别压测端已经饱和;它不等于彻底解决所有负载生成偏差,因为本机客户端与服务端仍共享 CPU、网络栈和调度资源。
图表将在阅读到此处时加载…
排队的基础关系可以用 Little's Law(利特尔定律)解释:在稳定系统和同一边界里,平均在途量 L 等于长期平均到达率 λ 乘平均停留时间 W。它不是把一次 p99 乘 QPS 得到连接池大小的公式;也不适用于长期输入大于输出、队列不断增长的稳定性假设已经破坏的情况。用它做数量级检查时,先统一是否包含等待、失败以及哪个系统边界。
先用模型预测,随后再看实验:两槽、每项0.02秒,忽略其他费用时完成能力约每秒百项。160次每秒计划到达无法仅靠这两个槽全部完成,所以额外请求只能等待、在客户端舍弃或被服务拒绝;换成0.005秒受控等待,模型中的工作段能力提高,但压测器与HTTP仍可能先饱和。这是机制估算,不能预写真实错误数或提升倍数。
读取输出时检查预测在哪个边界失效。errors升高而成功p50很小,说明成功样本没有覆盖全部到达;调度延迟高则说明客户端已影响负载。无限排队会把压力写进尾延迟和内存,即时拒绝会写进失败账,二者都不能通过删掉不方便的样本证明需求已经满足。
实战:同负载比较受控下游等待的两种版本
完整独立文件是 33_capacity.py,仅使用标准库,在本地回环地址启动临时 HTTP 服务,不访问生产系统。主例使用 2 个处理槽、8 个客户端线程、最多 16 个待完成客户端 Future;每组持续调度 0.4 秒,分别设置 40 和 160 次每秒计划到达率,并对 0.02 与 0.005 秒受控等待各重复两轮。短窗口是让教程快速退出的选择,不能用于正式容量认证。
运行命令:
powershell
python docs/python/examples/33_capacity.pypython
"""Local fixed-arrival-rate HTTP experiment; synthetic downstream delay."""
from concurrent.futures import ThreadPoolExecutor
from http.server import BaseHTTPRequestHandler, ThreadingHTTPServer
import json
import math
import os
import platform
import threading
import time
import tracemalloc
from urllib.error import HTTPError
from urllib.request import urlopen
def percentile(values, quantile):
if not values:
return None
return sorted(values)[max(0, math.ceil(len(values) * quantile) - 1)]
def run(rate, delay, duration=0.4):
slots = threading.BoundedSemaphore(2)
class Handler(BaseHTTPRequestHandler):
def log_message(self, *args):
pass
def do_GET(self):
if not slots.acquire(blocking=False):
self.send_error(503, "capacity exhausted")
return
try:
time.sleep(delay) # Simulated downstream; not a DB benchmark.
body = b'{"count": 2}'
self.send_response(200)
self.send_header("Content-Length", str(len(body)))
self.end_headers()
self.wfile.write(body)
finally:
slots.release()
server = ThreadingHTTPServer(("127.0.0.1", 0), Handler)
server.daemon_threads = False
serving = threading.Thread(target=server.serve_forever, kwargs={"poll_interval": .01})
serving.start()
samples, rejected = [], 0
tracemalloc.start()
cpu_started = time.process_time()
start = time.perf_counter()
def request(scheduled):
sent = time.perf_counter()
try:
with urlopen(f"http://127.0.0.1:{server.server_port}/counts", timeout=2) as response:
assert json.load(response) == {"count": 2}
status = response.status
except HTTPError as error:
status = error.code
except (OSError, TimeoutError):
status = 0
ended = time.perf_counter()
return status, ended-scheduled, ended-sent, sent-scheduled
try:
with ThreadPoolExecutor(max_workers=8) as clients:
pending = []
for index in range(int(rate * duration)):
scheduled = start + index / rate
time.sleep(max(0, scheduled-time.perf_counter()))
pending = [future for future in pending if not future.done()]
if len(pending) >= 16: # Bounded client submission, record shed arrivals.
rejected += 1
continue
future = clients.submit(request, scheduled)
pending.append(future)
samples.append(future)
records = [future.result(timeout=3) for future in samples]
elapsed = time.perf_counter()-start
successes = [record[1] for record in records if record[0] == 200]
_, peak = tracemalloc.get_traced_memory()
return {"rate": rate, "delay_s": delay, "planned": int(rate*duration),
"observed": len(records), "client_shed": rejected,
"errors": sum(row[0] != 200 for row in records),
"success_rps_whole_run": len(successes)/elapsed,
"p50_s": percentile(successes, .5), "p95_s": percentile(successes, .95),
"p99_s": percentile(successes, .99), "raw": records,
"whole_process_cpu_s": time.process_time()-cpu_started,
"peak_python_traced_bytes": peak}
finally:
tracemalloc.stop()
server.shutdown(); server.server_close(); serving.join(timeout=3)
assert not serving.is_alive()
def main():
print(json.dumps({"python": platform.python_version(), "os": platform.platform(),
"processor": platform.processor(), "logical_cpus": os.cpu_count()}, ensure_ascii=False))
for delay in (.02, .005):
for rate in (40, 160):
for _ in range(2):
print(json.dumps(run(rate, delay)))
if __name__ == "__main__":
main()程序的确定性检查是成功响应必须包含正确 count,以及服务退出后线程不再存活。QPS、错误数和分位是环境相关输出,没有预先写死的达标数字。每条 raw 记录依次保存状态码、计划到结束的时间、发送到结束的时间、发送晚于计划的时间;状态 0 表示连接或超时等异常,并不是 HTTP 标准状态。报告的 success_rps_whole_run 分母包含最后排空时间,因此不能把它称为稳态吞吐。
先追一条计划请求的状态:到达时客户端已满,就进入client_shed,根本没有HTTP样本;得到Future后,服务返回200、503或连接超时,才进入observed里的终结记录。接着核对planned是否等于observed加shed,再从observed分出正确成功与失败。这个计数顺序决定p50应该解释谁。
两版本的同题比较因此不能止于p50:保持rate不变,比较delay变化后的计数闭合、错误和分位;调度晚发很大时,先处理压测器边界。吞吐增而错误也增,可能只是更快拒绝;延迟降而追踪峰值升,也要检查保留样本或缓存费用。功能断言、两本账和资源预算都符合,才能评价优化。
正式实验应扩大窗口、预热连接与应用缓存、声明数据分布,再重复多轮。至少包含冷启动、正常负载、接近饱和、过载和恢复五种阶段;恢复阶段检查队列是否排空、内存是否趋稳、拒绝是否停止。固定一组输入进行版本对照,再改变单个维度。把行数 N 和不同状态数 K 混在一起改变,无法判断是算法增长还是缓存命中变化;相关机制见 算法时间复杂度与系统上限。
环境与资源:漂亮曲线背后可能是压测器
正式报告保存 Python 构建、OS、CPU 型号、可用 CPU 配额、内存、进程数、数据规模、依赖版本和工具配置。代码打印 platform.processor 与逻辑 CPU 数,但 processor 可能只返回架构描述,逻辑 CPU 数也不是容器配额。没有拿到确切硬件字段时写待验证,不猜型号。本例记录整个进程 CPU 秒与追踪峰值,没有直接测 RSS、CPU 利用率或数据库连接数,因此 JSON 输出本身不是完整资源曲线。
Windows 可以在同一窗口采集目标 PID 的 Get-Process CPU 与 WorkingSet,CPU 是累计秒,应取两次差值并除以经过时间;Linux 可以观察目标进程和容器配额,但平台命令必须另行验证。深入读 OS 跨层长尾定位,其价值是对齐同窗口的调度、资源和等待证据,而不是从一个 Load 值推断 Python 函数忙。跨专题关联的是诊断边界,Linux 内核行为不能用本轮 Windows 结果替代。
对真实日志服务,应从 请求观测取得 request_id 和各阶段时间,把压测错误关联到连接池、任务队列与下游。提高 worker 数前检查每个 worker 拥有多少连接、缓存和后台任务;如果两个 worker 各建十条连接,连接预算不是十条。多进程启动和通信成本见 任务粒度实验,不能把进程数当成自动扩容的充分条件。
把原始数组变成能评审的实验记录
主例同时输出整个进程的 CPU 增量和 Python 追踪峰值。它们包含压测器、服务线程、解析和保存样本,不是单独服务进程的指标;tracemalloc 本身也增加观察开销。若某档负载的追踪峰值升高,可能是保留更多请求记录,而不是业务缓存泄漏。只有拆开进程、同步窗口并减少观测扰动,才能进一步定位资源归属。因此本地记录可以帮助检查实验完整性,却不能以这个峰值推导生产实例的内存配置。
整理结果时,每行保存版本、到达率、处理延迟、重复序号、计划数、失败数、成功吞吐、三种分位和资源字段。首先核对计数:计划数应该等于实际提交数加客户端舍弃;提交数应该等于成功加终结失败。如果计数不闭合,说明工具遗漏了请求或任务异常没有被消费,先修测量程序。分位非空只能说明存在成功样本,不能说明失败比例可接受;没有成功样本时输出 null 比伪造零延迟更准确。
比较两个版本时先按同负载成对展示,不要把低负载旧版与高负载新版混成一个提升百分比。若某轮操作系统后台任务突然占用 CPU,要保留该轮及环境说明,而不是悄悄删除;可以补跑并说明离群规则,但不能事后只挑最快数。要报告最小、典型与波动三类信息,窗口很短时用“探索性实验”措辞,不能给出稳定容量上限。回归预算也应考虑业务正确性,统计结果必须与相同输入的响应内容校验一起保存。
再设计一个能推翻结论的实验:如果假设服务仅受下游等待限制,就降低受控等待并保持其他参数;如果吞吐没有变化且客户端调度延迟仍很大,客户端或其他阶段可能先饱和。如果假设缓存优化有效,就加入冷缓存和失效后重建负载,观察是否出现更高尾延迟或内存峰值。反证实验不是多跑几轮同样参数,而是改变与候选因果对应的变量。它能防止把环境偶然波动解释成源码收益。
本例的 BoundedSemaphore 只限制进入模拟工作段的数量,ThreadingHTTPServer 仍可能为到达连接创建线程。这是教程简化的重要边界:面对持续恶意或极高连接到达率,仅在 handler 内拒绝并不能提供完整的连接与线程预算。生产服务器还需监听层、连接上限、请求体读取预算和上游接入治理。客户端的 Future 上限同样只覆盖当前驱动,不能证明系统所有缓冲层都有界;测试报告应画清真正受限的资源位置。
正式容量计划至少留出部署期间旧新实例重叠、单实例故障、下游抖动与重试流量的余量。余量多少是预算与失败模型的取舍,不在本文给统一比例。如果健康实例承接故障实例流量后已进入拒绝区,平时平均利用率再低也不代表容错容量足够。先在隔离环境模拟降容与恢复,检查错误、队列和正确性,再决定是否扩容、优化或减小业务工作量。资源预算和高可用假设必须一起评审。
容易踩的坑:提前删掉不方便的数据
第一类是只统计成功请求,第二类是把轮平均当单请求分位,第三类是将排队时间排除却仍称为端到端。它们都能制造没有编造单个数字的失真报告。对照原始时间戳与样本计数,比追加一个图表更有效。异常返回也要检查内容,成功状态码配错误业务数据不能算正确成功。
另一个坑是只跑一次微基准就修改容量配置。瞬时提高 CPU、缓存预热和后台调度都可能影响单次结果;回归阈值应结合多轮波动设定,也要让噪声大的共享 CI 机器只承担趋势检查或更宽的预算。精确性能门禁最好使用稳定环境。没有稳定环境,不意味着跳过性能证据,而是如实限制结论,并要求资源与功能回归不能被省略。
能力任务与独立验收
将负载发生器适配到综合服务,而不是沿用演示响应
当前主例自建本地 /counts 并校验 {"count": 2},没有压测综合项目。接入 capstone 服务时,先将发生器与服务启动分离:保留计划时刻、有界Future窗口、错误和分位统计,把 request 函数的目标改成实际回环地址下的 /records?after=0&limit=20,从可信本地配置取得教学 token,加入 Authorization header。不要把 token 放在 URL、原始样本或日志中,也不要把管理端 /metrics 的权限放宽来方便压测。
再替换响应校验。综合服务返回记录数组,不返回 count 字典:固定预先导入的数据与租户,检查状态码、记录条数及 source/level/message 等预期字段;若用分页,另验证游标和总数,不把第一页20条称为全部导入结果。跨租户和未授权负例单独计为预期拒绝,不能混进正常成功分位。压测准备阶段的导入不计入查询窗口,服务进程的CPU和内存单独采集,负载发生器的调度延迟继续保存。
先用低到达率检查适配器正确性,再运行预先声明的三档负载。给出实际服务版本、数据库状态、数据规模、依赖、服务器配置和原始样本,才能报告综合服务性能;本篇 /counts 的 synthetic delay 输出仍单独存放。本轮未用本例驱动运行 capstone,适配后的容量结果为待验证,不能拿演示时间作为真实API的性能证据。
将第28篇服务接到本例负载发生器,保持接口、输入和依赖版本一致。先由读者声明预算,再提交低、中、高三档到达率每档至少三轮数据;将一个下游改慢,提出两个可反证候选,只改一个已被证据支持的瓶颈,然后同负载复测。使用 synthetic delay 的结果与真实数据库的结果必须分表,不把 sleep 性能称为数据库性能。
验收交付包括原始样本、样本丢失说明、失败分类、分位算法、环境记录、资源窗口和优化取舍。若压测客户端饱和,要展示它如何影响结论;若选择拒绝策略,要解释失败业务如何恢复。通过要求是既满足预先声明的预算,又没有功能错误、无界积压或退出遗留。提高吞吐不能抵消越权,降低延迟不能抵消数据丢失。
进阶面试可这样回答“服务应该开多少线程”:先按工作量、CPU/等待占比与下游容量建立模型,再以固定到达率观察资源、失败和尾延迟;传统 GIL 构建下还要区分 Python CPU 工作与释放 GIL 的原生工作。数字是受条件约束的实验结果,解释试验如何推翻一个候选,比背一个线程公式更有工程价值。
一句话总结:容量结论来自声明负载、计入失败、对齐资源并同条件复测的证据链。
- 同时报告计划到达、实际完成、失败和调度等待,避免压测器隐藏过载。
- 分位必须说明算法和样本范围,成功请求很快不能证明服务可靠。
- 先写预算,再用同输入多轮复测确认优化的收益与代价。
来源:标准库计时模型见 timeit 3.14;本例是教学负载发生器,不提供专业压测工具或生产容量认证。