外观
Python 程序慢在哪里:从计时到热点分析与优化复测
摘要
日志汇总跑了几分钟,应该换写法、开进程,还是先查 I/O?本文用等价统计实现建立测量基线,解释计时、剖析和采样各能回答什么,再把局部热点与端到端性能连接起来,避免凭一次数字优化。
验证环境: Windows x64,CPython 3.14.0 常规 GIL 构建;同一独立示例亦已在 CPython 3.13.7 运行通过。计时使用同一输入与工作量;输出的平均单次耗时统计属于本机环境,不能当作通用性能比例。
场景:一行代码更短,程序却更慢
这是教学场景。日志工具要统计每类状态的数量。一个版本遍历不同状态,针对每个状态调用 rows.count;另一个版本单次扫描并累加。第一种写法短,阅读也直接,但状态种类增加后,耗时增长明显。
先固定同一份rows和相同计数结果,再数工作次数。逐状态rows.count要为K种状态各扫描N行,主要工作量接近N*K;单遍汇总主要随N增长,哈希操作还依赖对象与冲突条件。由此得到可检验预测:保持N增大K,反例会增加扫描次数;正例不需要每种状态重新扫全表。本篇先用结果等价保证比较成立,再用调用次数和同边界计时兑现预测,不从代码长短判断速度。
本文以 CPython 3.14 常规构建为主线,标准库示例也可在相应支持版本运行。时间结果只属于实测环境,不写普遍提升倍数。剖析工具本身有开销,因此建立基线、定位原因和验证收益使用不同观察方式。
先说清“慢”是哪一个指标
墙钟时间(wall-clock time)是从开始到结束经过的实际时间,包括计算、等待、排队和调度。CPU 时间描述进程或线程实际使用处理器的时间,不包括同样意义上的全部等待。请求耗时高而 CPU 时间很低,支持等待较多的候选方向;CPU 时间高,则可能需要调查计算、序列化、复制和循环。
latency(延迟)表示一个请求完成所需时间;throughput(吞吐)表示单位时间完成的工作数量。降低单请求计算成本可能提高吞吐,但后端容量或连接池限制也可能成为下一瓶颈。把并发数提高后吞吐上升,不能直接宣称单请求变快,排队延迟可能反而恶化。
分位数描述分布里的位置,例如 p95 是约百分之九十五样本不超过的值。平均值可能掩盖少量极慢请求,也可能受输入大小混合影响。采集时应保留请求类型、输入规模和状态码,不能把失败快速返回与成功完成混在一起,然后得出“优化后平均耗时下降”。
指标还要定义边界。计时包含文件读取吗,包含数据生成吗,包含进程启动吗,包含连接建立吗?不同答案对应不同业务问题。只要比较双方使用相同边界,局部基准可以有价值;错误是拿局部函数时间替代用户端到端时间,却没有说明被排除的成本。
构造可信基线:相同工作、相同结果、可解释波动
比较前先写清不变项:同输入、同统计含义、同计时范围。两份字典即使外观相同,也可能在缺失、大小写、编码或重复规则上不同;快版本若偷偷少处理一种输入,计时已经失去共同问题。本例先断言结果一致,再做预热与测量,之后剖析只用于解释成本来源,不与未剖析时间直接比较。
输入要包含影响成本的维度。两万行、两百种状态只是教学参数;若真实日志只有三种状态,重复扫描的劣势可能不同;若字符串特别长,哈希和比较成本也会改变。不能只把行数扩大一百倍,就认为覆盖了所有真实负载。
预热让导入、初次分配和某些运行时专门化不再独占第一轮,但预热也不能神奇消除所有环境变化。文件缓存、CPU 频率、后台负载和内存压力仍影响结果。因此重复测量并记录分布,比保存一个最漂亮的小数更可靠。
计时工具选用单调的高精度时间来源,time.perf_counter 适合测经过时间。墙上日历时间可能被校时影响,不适合直接作为精细基准差值。测多进程时还要明确 CPU 时间是父进程还是全部工作进程总和,否则可能误把子进程消耗当成没有成本。
最小实验:重复扫描与单次汇总
保存以下完整代码为 docs/python/examples/22_profile.py。数据在计时前生成,两个函数都返回相同统计。每种实现预热后重复五轮,每轮三次;先把各轮总耗时除以三,得到五个平均单次耗时,再输出它们的中位数及范围,最后对反例做一次剖析。这不是十五个独立调用时长的分位数。
python
"""Measure equivalent log grouping implementations and inspect call hotspots."""
from collections import Counter
import cProfile
import io
import platform
import pstats
import statistics
import timeit
def repeated_scan(rows):
return {status: rows.count(status) for status in set(rows)}
def single_pass(rows):
return dict(Counter(rows))
def main():
rows = [f"status-{index % 200}" for index in range(20_000)]
assert repeated_scan(rows) == single_pass(rows)
print("environment:", platform.python_version(), platform.platform())
print("input: 20000 rows, 200 distinct statuses; 5 repeats, 3 calls per repeat")
for function in (repeated_scan, single_pass):
function(rows) # Warm up before measuring.
durations = timeit.repeat(lambda: function(rows), repeat=5, number=3)
per_call = [duration / 3 for duration in durations]
print(function.__name__, "median_seconds:", statistics.median(per_call),
"range:", min(per_call), max(per_call))
print("raw_round_average_seconds:", per_call)
for count, kinds in ((2000, 20), (2000, 200), (20000, 20), (20000, 200)):
data = [f"status-{i % kinds}" for i in range(count)]
assert repeated_scan(data) == single_pass(data)
measurements = {}
for function in (repeated_scan, single_pass):
measurements[function.__name__] = timeit.repeat(
lambda: function(data), number=1, repeat=3)
print("matrix:", count, kinds, measurements)
profiler = cProfile.Profile()
profiler.runcall(repeated_scan, rows)
output = io.StringIO()
pstats.Stats(profiler, stream=output).strip_dirs().sort_stats("cumulative").print_stats(8)
print(output.getvalue())
if __name__ == "__main__":
main()powershell
python docs/python/examples/22_profile.py运行前可以预测次数,不能预先捏造毫秒数:反例对每种状态调用一次count,K=200时预期200次;正例一次汇总同样的rows。程序先验证结果相同,再列出环境、输入规模和重复次数,最后由剖析检查调用关系。执行输出支持重复扫描模型;绝对时间、排名和精度随环境变化,也不硬性断言所有极小输入中正例更快。
反例每遇到一个不同状态就重新扫描整个列表,正例通过 Counter 做一次汇总。Counter 是标准库计数容器,以对象为键保存出现次数。这个优化改变工作量结构,不只是把 for 改成更短的表达式。
timeit 用于减少小片段计时的样板工作,但其默认会在计时期间暂时关闭循环垃圾回收。官方 timeit 文档说明了该默认及如何重新启用。若要评估真实对象循环与回收成本,应调整设置,并单独报告,不应把默认基准当成完整服务的内存管理表现。
本实验汇总不以循环垃圾为主要成本,所以默认设置可作为局部算法比较,但局部结果仍不是线上结论。发布前需要端到端负载验证,确保文件读取、解析、响应生成和后端等待没有抵消收益。
怎样读 cProfile:总入口不一定是热点本体
profiling(剖析)在程序运行中记录调用与时间等信息。cProfile 是标准库确定性剖析器,会在函数调用等边界记录数据;pstats 用来整理和排序。它帮助回答时间集中在哪些调用关系,不是“零开销摄像机”。
ncalls 表示调用次数;tottime 是函数本体耗时,排除子调用;cumtime 包括它与子调用的累计时间。官方 profile 文档给出这些字段的定义。若顶层处理器 cumtime 很大但 tottime 很小,应向子调用走,而不是直接改处理器声明。
沿同一调用链看三个量:count每次扫多少行,调用多少次,这些费用累积在哪里。反例K次调用把子调用成本带进字典推导的cumtime;若推导tottime很小,不应只改推导语法。次数解释重复,时间解释贡献,父子关系解释归属;三者缺一,都可能把入口累计时间当成新增工作并重复计算。
父调用和子调用的累计时间不能简单相加当作总时长,因为它们包含重叠范围。同样,多线程或异步中一个函数内等待可能被归到相应调用范围,不能把表上的累计时间都解释为 CPU 指令执行。必须结合计时口径和并发模型解读。
采样为什么能补充剖析,又不能替代所有证据
sampling(采样)在若干时刻观察线程或进程调用栈,依据样本分布估计常见执行位置。它通常比逐次事件记录更适合某些运行中服务,但精度、权限、平台支持和样本归属取决于具体工具。本文不安装第三方采样器,因此不声称已验证某工具在所有部署中的附加能力。
若使用外部采样器,应记录工具版本、目标 PID、采样周期、是否覆盖原生栈及是否按线程区分,并按对应文档核验。采样总在数据库调用位置,说明该位置在观察窗口常见;若 CPU 很低,可能是等待,若 CPU 高且原生栈显示计算,则可能是驱动或扩展计算,不能只看 Python 顶层函数名。
短促事件可能被低频采样漏掉,确定性剖析又可能改变微小调用成本。两者各有适用范围。性能证据不是工具越多越好,而是每份证据对候选原因增加了什么约束,是否存在相同窗口和相同负载。
用瓶颈比例估算优化上限
假设总时间有一部分来自目标函数,其他部分保持不变。即使目标部分被理想地消除,剩余部分仍然存在。Amdahl's law(阿姆达尔定律)表达这种局部加速受占比限制的关系。这里的用途是提醒我们先测热点占比,而不是为了精确预测复杂服务。
把工作量模型迁移到接口时,先检查这个扫描占了端到端多少。若主要时间在数据库锁前等待,即使消除扫描也留着等待;若扫描占主计算,改单遍才是合理候选。Amdahl模型固定其他成本后约束局部加速上限,查询超时案例则用持有者证据识别等待。两者连接在“优化必须改变主要成本”这一步,不能因为刚学过Counter就把所有慢请求改成计数容器。
并行同样有串行部分:读取、任务提交、序列化、归并及共享锁都可能限制收益。多进程增加传输,线程增加竞争,异步增加任务和回调。优化改变了工作结构后,要重新找下一瓶颈,不能把一次剖析表当成永久架构结论。
从算法到工程:每种优化都有代价
缓存可能减少计算,但增加对象保留、失效协议和跨请求共享状态。使用缓存前定义键包含哪些业务上下文,容量是多少,数据变化何时失效。否则性能提升伴随错误结果或内存无界增长,不能算完成优化。
批处理减少固定开销,但可能增加单请求等待和峰值内存。流式处理降低全量保留,但迭代器单次消费、异常中断和下游背压需要设计。将 Python 循环移入原生扩展可能降低解释器开销,却增加依赖、构建和可观测性要求。
减少对象创建有时有效,但复用可变对象要检查生命周期。多个请求共用一个缓冲,若并发读写没有协议,可能发生数据串扰。不要为了少一次分配让代码失去隔离性。优化的评价包含正确性、资源和维护成本,而不是单个 benchmark 排名。
当优化涉及内部实现时,如依赖某版本字典布局或字节码专门化,应固定版本并说明不属于语言保证。优先选择改善工作量、I/O 次数和资源所有权的方案,它们通常更容易解释并迁移;细节优化仍需有明确热点与收益证据。
复测:比较同一负载下的完整行为
修复后重新运行语义检查,再按相同输入和计时范围测量。报告中应包含基线与修复版本、数据规模、环境、次数、代表值和波动。若差异与噪声同量级,结论应是未获得可靠收益证据,而不是选择最小值形成宣传。
官方 timeit 文档常建议把最小值作为受到最少其他活动干扰的基准参考。本文输出中位数和范围,是为了让重复轮次的常见值与波动可见。两个口径并不互相替代:选哪一个要解释问题和环境,不应只在有利时更换统计方式。
对于服务还需观察吞吐、分位延迟、错误率和资源曲线。固定请求速率时看资源变化,固定并发时看响应变化,逐渐提高负载找到拐点。压测客户端本身也可能不足,或者在超时时只记录完成样本,导致统计偏低;需要检查请求计划、失败样本和测量边界。
优化判据:不是每个更快结果都值得发布
先定义最低可接受收益和最大代价。如果函数只占请求很小比例,局部变快但让代码复杂很多,未必值得长期维护。若优化使内存增大到接近容器上限,即便均值更快,也可能因回收、分页或进程退出使尾延迟恶化。性能应包含时间、空间、稳定性和可解释性。
一个常见错误是只在固定小数据测量,然后使用到无界输入。算法复杂度与常数共同决定成本:小 N 时额外结构准备可能主导,大 N 时重复扫描才显著。对本篇两种统计方法,应至少改变行数和状态种类两个维度,确认优势条件,并检查峰值内存变化。
输入分布还会影响尾部。大部分请求很小、少数请求很大时,平均时间优化可能掩盖大请求恶化。按输入大小分组,查看各组延迟与资源,再决定是否使用不同路径。不要通过过滤困难样本制造平滑图表,失败、取消和超时本来就是服务性能的一部分。
并发负载下,排队会放大微小容量差异
一个处理资源的能力有限,输入持续接近容量时,排队时间可能增长得很快。单请求节省少量计算有时能在临界负载下降低排队,有时则被下游瓶颈完全吞掉。因此局部基准和服务压测之间不存在固定转换比例。
需要记录到达速率、实际完成速率、队列长度与请求延迟,判断是否已经进入不稳定积累。固定并发的客户端会在服务变慢时自动减少新请求发送,可能隐藏真实到达压力;固定请求速率则需要确认客户端能按计划发送并记录未完成请求。两种方法回答不同容量问题。
优化复测应同时检查负载停止后的恢复。线程、Task 和连接若仍积累,即使短窗口吞吐很好,也可能是延迟故障。将时间测量与第18篇对象保留、第23篇等待链结合,才不会把资源透支当成性能提升。
如何记录一次有用的性能结论
报告可以写成:在指定解释器和系统,使用指定行数与状态种类,两个实现返回相同统计,按相同边界重复测量;剖析显示反例重复调用扫描;改为单次汇总后本机代表时间下降,其他输入与部署仍需分别验证。这里每句话对应事实、机制或边界。
不能写成“Counter 比所有循环快几十倍”。不同对象键、错误处理和输入分布都可能改变工作量,真实差异应来自真实实验。也不应把最新工具或框架的宣传数字移植到本文环境,即使来源真实,适用条件仍可能完全不同。
保留可运行基准和原始输出比只留截图更好:未来升级解释器或更改输入时,可以沿同一方法复测,解释差异。本文示例打印版本与参数,并将计时与剖析分开,正是为了让读者复现自己的结论,而不是记住某台机器的数字。
尽量保存可解释的原始信息
只保存“优化快了”无法在版本升级后复核。至少记录两个实现的源码、输入生成规则、完整版本、计时范围和原始轮次结果。剖析输出另存,不与纯计时混用;若某轮明显受后台活动影响,可以标明,而不是悄悄删除不利样本。
环境声明也不能只写操作系统名称。解释器实现与构建、容器CPU配额、数据所在存储和外部依赖版本都可能影响结论。本文纯内存实验无需外部服务,因此条件相对少;迁移到文件或数据库负载时,必须补齐相应环境与缓存状态,避免把实验简洁误解为真实环境也无需声明。
容易踩的坑与面试推演
第一个坑是把一次调用的耗时作为结论,忽略预热和环境波动。第二坑是拿开启剖析器的版本与不开剖析的版本直接比速度;工具开销不同,比较不公平。第三坑是工作量不同,例如一边生成数据一边只算已生成数据,却声称同功能优化。
第四坑是吞掉失败,使程序快速返回空结果。第五坑是只看平均值或只看吞吐,忽略尾延迟和错误。第六坑是为了测 GC 成本使用 timeit 默认配置,却没发现它暂时关闭循环回收。每个坑都来自测量口径与业务目标不一致。
面试问“怎么优化 Python 程序”,先给出指标定义、正确性基线、计时分层、热点证据和复测流程,再谈具体技术。问“为何局部快十倍,服务只快一点”,说明目标占比与其他瓶颈。问“CPU 不高但请求慢”,提出 I/O、锁、队列和资源池等待,并说明需要什么证据区分。
矩阵与剖析表:解释数字支持哪一个假设
规模矩阵采用四个N/K组合:2000/20、2000/200、20000/20、20000/200,分别保存每种实现三轮单次耗时;原实验也输出五轮平均单次原始值。这样可以区分增长来自总行数还是不同状态数。它是局部函数实验,不等于第33篇的服务负载模型;没有测失败、队列或尾延迟,不能把这几个时间直接包装为 API p99。
主例真实剖析输出中,<method 'count' of 'list' objects> 的调用次数为 200,源自每种状态一次扫描;字典推导调用 count 的累计费用因此集中在其子调用,而非只看推导函数自身时间。绝对时间随运行变动,应从现场表读取。ncalls 回答次数,tottime 排除子调用,cumtime 包含子调用;若将父子 cumtime 相加会重复计算同一段时间。只有先固定输入,次数才有解释力:K 增长产生更多 count,而 Counter 的主要工作仍按 N 聚合。
Amdahl 推导也可明确表达:假定原总用时 T 中热点占比 f,热点加速 s 倍且其他成本不变,则新用时为 T*((1-f)+f/s)。这是模型而非测量结论。即便令 s 趋于无限,仍剩 T*(1-f);增加缓存还可能改变非热点成本和内存,违反模型前提。工作量来源见 算法时间复杂度与系统上限,经过时间与 CPU 时间的区别见 操作系统调度。
能力任务:自行选择另一个 K,预测两种算法的工作量变化,再运行同输入三轮并解释 pstats 字段。验收要求保存原始数组、等价断言和测量范围,不允许把最小值称为典型响应或把轮平均称为单请求分位。
一句话总结:先测相同工作的成本分布,再用机制改变主要成本并验证完整收益。
- 性能数字必须有输入、环境、范围和波动,语义等价先于速度比较。
tottime、cumtime、CPU 时间与墙钟时间回答不同问题。- 算法、批处理、并行和缓存都有代价,最终回到端到端复测。