外观
服务 CPU 高、内存涨或请求卡住:Python 线上分诊方法
摘要
告警只有“请求慢”,应该先看线程栈、分配还是数据库?本文建立症状到证据的分诊路径,并用有界实验采集等待栈与内存差分。目标是让 Python 初学者能提出可反证的候选原因,逐步找到真正的资源所有者。
验证环境: Windows x64,CPython 3.14.0 常规 GIL 构建;同一独立示例亦已在 CPython 3.13.7 运行通过。线程编号、源码行号和分配差分随环境变化;Python栈与追踪分配不覆盖全部原生资源。
场景:同一个超时告警,可能来自完全不同的机制
下面是教学分诊模型,不声称某份日志来自真实生产事故。日志查询服务出现超时,有人认为是 GIL,有人建议调用 GC,还有人直接增加线程数。三种建议都可能影响系统,但都还没有解释这次请求到底在哪里等待。
先把“慢”写成可区分的关系:哪个执行者在计算,哪个等待者卡在什么资源,哪些对象或任务在工作结束后仍积累。CPU、栈和分配各能缩小一部分候选,不能跨层直接代答。本篇用“确认实例窗口→定位关系→寻找所有者→定向改变并复测”的路径处理三种教学故障,让GIL、GC和扩线程成为证据支持后的选项,而不是看到Python告警就先套的答案。
本文主线 CPython 3.14 常规 GIL 构建。标准库实验在当前进程内采集,不连接外部业务服务;OS 命令按 Linux 和 Windows 分开说明。工具权限、进程架构与构建模式影响可观测能力,不能把某个平台的命令当成通用 Python API。
第一步:锁定实例、窗口和影响范围
同一个服务名可能对应多个进程、多台机器和多个发布版本。先记录 PID、进程启动时间、解释器路径、应用版本、容器或主机身份。PID 可以复用,单看进程编号可能把前后两个进程当成同一个对象。多实例里只有一台异常,与全部实例同步异常的候选原因不同。
时间窗口要能连接请求日志、资源指标和现场快照。机器时区、日志时间、采集器延迟都可能造成错位。一个超时发生在十分钟前,现在抓到的线程栈也许只是正常空闲,不能把后来的栈当成当时唯一证据。 可进一步阅读Linux服务器诊断命令与证据边界:身份时间窗口与证据边界保证分诊有效。
影响范围包括接口、状态码、输入规模、租户或业务类型。大输入变慢、小输入正常,支持复杂度或数据量方向;所有请求同时变慢,可能涉及共享资源;只有写请求受影响,又与只读请求不同。每一个分类都减少候选空间,避免“整个 Python 慢了”的笼统描述。
发布变更也要按实际生效状态确认。源码文件更新,不等于常驻进程使用了新对象;包安装成功,不等于目标解释器运行的是这份包。第 1、8、17 篇的解释器、导入与运行环境模型,在这里变成基础排障证据。
第二步:先分计算、等待和积累
图表将在阅读到此处时加载…
沿同一请求读这张图,计算、等待和积累可以首尾相接:数据库等待触发重试,重试增加解析与日志,尚未结束的尝试继续保留参数。看到CPU与内存同时升高,不能据此倒推最初必是计算。下一步应比较各阶段何时先发生、谁占着资源,再选择支持和反证;图提供取证方向,不是互斥故障类别或完整原因清单。
计算方向看进程和线程 CPU、热点分布、输入规模变化。等待方向看线程状态、队列长度、连接获取时间和下游耗时。积累方向看活跃任务数、缓存键、对象数量和资源生命周期。指标需要趋势和工作量归一化:请求数增长时对象短期增长不一定异常,空闲后仍持续累积更值得调查。
CPU 高:找到执行者,再解释它在做什么
Linux 可以先用 ps -p <PID> -o pid,etime,pcpu,rss,args 读取进程摘要,再按环境用 top -H -p <PID> 观察线程。Windows 可用 PowerShell 的 Get-Process -Id <PID> 读取累计 CPU 与内存等信息,但累计 CPU 秒不是瞬时百分比;需要两次观测差值与经过时间才能估算对应活动。
这些命令是操作示例,<PID> 必须换成已确认目标;本文没有在真实线上执行。容器视角、CPU 配额和宿主机核心数会影响百分比解释。常规 GIL 构建里,一个解释器的纯 Python 计算可能主要占一个核心,但扩展、进程池和其他线程活动可改变总体表现。
发现一个热点后,还要说明输入和机制。循环里重复扫描可能造成工作量随 N 与 K 一起增长;频繁异常和日志可能是故障结果而非第一原因;序列化热点可能来自返回结果过大。调用栈告诉你在哪里,业务数据解释为什么在那里花这么多成本。
若 Python 栈总落在一个 C 扩展入口,继续区分原生计算和等待。Python 层名称不能给出原生内部细节,可能需要对应平台的原生采样、库指标或扩展工具。没有这些证据时,应写“候选原生路径,待进一步验证”,不能凭一个模块名认定具体算法缺陷。
请求卡住:等待者不是根因的终点
栈里看见等待者后先不要停:Lock.acquire要追到持锁者,队列get要核对本来是否该有输入,连接池等待要找长期借用者。相同等待栈可以来自正常空闲,也可来自无法推进的资源关系。若生产者尚未发送,消费者等待符合协议;若持锁者等一项无关外部事件,请求才被不必要的所有权卡住。先写预期推进条件,再判断当前谁能满足它。
等待链(wait chain)连接等待者、资源和持有者。真正可修复的原因通常在链末端:持锁期间调用外部服务、事务不结束、任务之间循环依赖,或者生产端异常退出。只把等待者超时调大,可能让更多请求在同一资源前堆积。
栈快照是时刻证据。一次看到消费者等待队列是正常情况;连续同窗口快照仍在同处,加上上游未生产和请求堆积,才形成更强因果约束。采集时应标时间与线程身份,不要把不同线程的同名函数拼成一个调用过程。
异步服务则还要看事件循环延迟、Task 和依赖关系。一个 OS 线程栈不直接列出全部暂停协程的业务位置。可在应用可控位置使用任务内省 API、请求阶段日志和队列指标补充,但访问其他执行上下文的细节需考虑构建与安全边界,不把调试操作当成无代价行为。
最小实验:采集一个等待栈,再采集分配差分
保存以下代码为 docs/python/examples/23_diagnose.py。一个线程等待队列输入,主线程通过 faulthandler 输出全部线程栈;随后创建有界缓冲并比较分配快照,最后释放队列等待和对象保留。
python
"""Capture a bounded waiting thread and allocation differences in one process."""
from collections import Counter, deque
from concurrent.futures import ThreadPoolExecutor
import time
import faulthandler
import queue
import tempfile
import threading
import tracemalloc
def main():
rows = [str(i % 40) for i in range(4000)]
cpu, wall = time.process_time(), time.perf_counter()
bad = {key: rows.count(key) for key in set(rows)}
print("cpu suspect seconds:", time.process_time()-cpu, time.perf_counter()-wall)
cpu, wall = time.process_time(), time.perf_counter()
good = dict(Counter(rows)) # Repair N*K repeated scans, preserve result.
print("cpu repair seconds:", time.process_time()-cpu, time.perf_counter()-wall)
assert bad == good
held, release, entered = (threading.Event() for _ in range(3))
lock = threading.Lock()
def owner(fixed):
with lock:
held.set()
if not fixed and not release.wait(3):
raise TimeoutError("owner deadline")
if fixed and not release.wait(3):
raise TimeoutError("fixed owner deadline")
def waiter():
entered.set()
with lock:
return "completed"
for fixed in (False, True):
held.clear(); release.clear(); entered.clear()
with ThreadPoolExecutor(max_workers=2) as pool:
owning = pool.submit(owner, fixed)
try:
assert held.wait(2)
waiting = pool.submit(waiter)
assert entered.wait(2)
if not fixed:
assert not waiting.done()
with tempfile.TemporaryFile(mode="w+b") as evidence:
faulthandler.dump_traceback(file=evidence, all_threads=True)
evidence.seek(0)
print("fault lock evidence:", evidence.read().decode(errors="replace"))
else:
assert waiting.result(timeout=2) == "completed"
assert not release.is_set()
finally:
release.set()
owning.result(timeout=2) # Worker failures reach coordinator.
assert waiting.result(timeout=2) == "completed"
print("lock structural repair:", fixed)
with ThreadPoolExecutor(max_workers=1) as pool:
def fail():
raise ValueError("injected worker failure")
try:
pool.submit(fail).result(timeout=2)
except ValueError as error:
print("worker failure propagated:", error)
else:
raise AssertionError("worker error disappeared")
jobs = queue.Queue()
ready = threading.Event()
def consumer():
ready.set()
jobs.get(timeout=5) # Simulated worker awaiting an upstream producer.
jobs.task_done()
worker = threading.Thread(target=consumer, name="waiting-consumer")
worker.start()
try:
assert ready.wait(timeout=2)
with tempfile.TemporaryFile(mode="w+b") as evidence:
faulthandler.dump_traceback(file=evidence, all_threads=True)
evidence.seek(0)
print("thread evidence:\n", evidence.read().decode("utf-8", errors="replace"))
tracemalloc.start()
before = tracemalloc.take_snapshot()
retained = []
for _ in range(4):
retained.extend(bytearray(4096) for _ in range(16))
after = tracemalloc.take_snapshot()
print("allocation evidence:")
for stat in after.compare_to(before, "lineno")[:3]:
print(stat)
assert len(retained) == 64
retained.clear()
bounded = deque(maxlen=16)
for _ in range(4):
bounded.extend(bytearray(4096) for _ in range(16))
assert len(bounded) == 16
fixed_snapshot = tracemalloc.take_snapshot()
print("bounded ownership repair:", len(bounded))
for stat in fixed_snapshot.compare_to(after, "lineno")[:3]:
print(stat)
finally:
if tracemalloc.is_tracing():
tracemalloc.stop()
jobs.put(None) # Release and join the worker; no background task is left.
worker.join(timeout=5)
assert not worker.is_alive()
print("worker released:", not worker.is_alive())
if __name__ == "__main__":
main()powershell
python docs/python/examples/23_diagnose.py运行前用已知控制条件预测:主线程尚未放入数据,consumer应仍活着并等待;给出结束数据后它应退出。这两次状态配合栈快照,证明当前是可推进的等待,不是仅凭queue函数名判断死锁。采集证据包含消费者路径,缓冲创建有分配增长,最后worker released为True;精确栈位置、线程号和行号依调度变化。分配增长也只有创建证据,必须再查保留者才谈泄漏。
反例思路是“看见等待就认定故障,看见分配就认定泄漏”;正例将等待原因、生产者控制、对象所有者与最后释放放到同一实验里。主线程明确知道队列还没有输入,所以等待符合当前协议;发送结束数据后工作线程能退出,证明这不是无法推进的循环等待。
实验只在当前程序内运行,并创建临时证据文件,不附加到生产进程。faulthandler.dump_traceback 输出的是线程 Python 栈,不是完整请求追踪图;tracemalloc 输出分配位置,不是全部引用所有者图。承认工具边界,才能避免从真实输出推出错误结论。
内存上涨:把对象与页面放在两张图里
第一张是对象引用图:谁创建、谁保留、何时结束;第二张是进程内存图:Python 分配、原生分配、线程栈、映射与驻留页面。tracemalloc 差分偏向前一张中的分配证据,RSS 偏向后一张。两者不相等,第 18 篇已经解释对象释放和页面归还的区别。
若 Python 追踪分配持续增长,进一步按请求工作量观察对象数与保留者。若追踪平稳而 RSS 增长,要调查原生库、线程数、页面复用与映射。若任务队列和内存一起增长,可能是下游容量不足导致参数被保留;不应该只调整 GC,而忽略根本没有消费的任务。
快照最好在相近阶段取,比如每完成固定批量工作后、临时任务已结束时。对于长服务可以记录多轮差分趋势,区分预热后平台与无界增长。追踪启动太晚会漏掉此前分配,采集栈深度和样本大小也影响开销,要在真实环境里评估。
gc.collect() 返回数量只说明这次找到并处理的相应垃圾,不能等价为释放字节,更不是 RSS 下降值。对象仍可达时重复 collect 不会清除它;返回零也不证明没有保留错误或原生泄漏。判断必须回到引用关系和资源生命周期。
faulthandler 的文件与版本边界
官方 faulthandler 文档说明,它可以在故障或指定时刻输出线程栈,延迟输出可由 watchdog 机制触发。若配置延迟输出,目标文件必须保持打开直到输出完成或取消;日志轮转、文件关闭和描述符复用都可能让证据写到意外目标。
本实验使用即时 dump,临时文件在调用期间保持打开,然后读取输出,再关闭。没有开启持续的后台延迟任务,也没有使用 exit=True 强制退出。线上若采用延迟 dump,必须在生命周期中取消相应设置并管理文件句柄,不能让调试设施一直继承到新请求。
Python 3.14 增加 C 栈输出相关能力,但是否支持取决于构建与平台。free-threaded 模式下,某些全线程输出行为也有版本相关限制。本文只验证常规 GIL 构建的 Python 栈输出,不宣称在所有二进制上能完整读取所有 C 帧。
如何把候选原因变成可以推翻的命题
“可能是 GIL”太宽。更有用的命题是“常规构建下,指定请求阶段主要执行 Python 循环,线程数量增加后该计算段不获得多核并行”。需要 CPU 分布、热点和相同工作量对比支持,也可以被大量原生计算或 I/O 等待证据削弱。
“可能泄漏”也要具体化成“每完成一批同类请求,某结果容器仍新增固定数量对象,且没有淘汰路径”。对应证据是多轮分配差分、容器大小和代码持有关系;如果负载停止后容器按预期过期,原命题就要修改。
“数据库慢”可以细分为获取连接慢、等待锁慢、执行计划慢或响应传输慢。每段单独计时,再看连接所有者和数据库证据。客户端超时不证明数据库执行了多久,服务端开始日志也不证明已经得到连接。
好的排查记录写明事实、推断和缺口。例如“请求线程停在 execute,持有独占事务的线程仍在等待外部信号,因此锁等待是候选原因;释放事务后相同查询成功,支持该命题”。如果只有第一份栈,后半句就不能虚写。
修复复测:不是只看告警消失
改变一个变量后,用相同请求内容与负载复测。验证业务结果、错误率、等待阶段和资源回收;停止负载后确认线程、连接和队列回到预期。若只是重启清掉积累,应继续追积累来源,不能把暂时恢复当成因果修复。
加超时可能减少等待者数量,但要确认下游工作是否真的结束;加重试可能扩大压力;扩连接池可能让数据库更慢。缓解动作可以争取时间,最终修复仍要解释资源链上哪个关系被改变。记录缓解与根因修复的范围,防止未来把临时参数当稳定容量设计。
若无法重现,要保存已经采到的证据并缩小下一轮观测范围,而不是编造确定原因。适当的阶段计时和请求标识能降低下次取证成本,但日志量、敏感数据和采集开销要遵守现有业务约定。本文不读取或展示任何客户日志。
连接池耗尽:把“满了”解释成生命周期
连接池满是一种状态,不是唯一根因。全部连接正在执行合理长事务、某些请求等待下游时持有连接、异常路径漏归还连接、流式结果尚未消费完,都可能让新请求等待。首先看连接获取与持有时间分布,再把长期持有者映射到请求阶段。
如果扩大池后短期恢复,可能只是推迟下一次耗尽,也可能把压力转移到数据库。若根因是连接泄漏,池变大只让无界保留继续;若根因是数据库已饱和,更多连接可能降低每个请求推进速度。容量与生命周期应分开验证,不能凭一次恢复决定长期配置。
异常路径尤其值得检查。业务捕获数据库错误后返回默认值,可能没有执行关闭;事务上下文结束也可能只是提交回滚,不代表连接资源退出。成功响应、失败响应、取消和超时都要有明确归还协议。第24篇真实示例验证中发现的SQLite连接未关闭,就说明退出测试能发现主流程日志看不出的资源问题。
重试与排队:症状可以制造新的症状
客户端超时后立即重试,原请求可能仍然运行,于是系统同时处理旧尝试和新尝试。请求数增加、线程与Task增长、数据库更拥挤、错误日志更多,最后CPU和内存告警也出现。第一眼看到CPU高不一定意味着初始根因是计算,有可能是等待触发的重试放大。
需要区分业务操作数与尝试次数,观察重试间隔、最大次数和全局预算。退避、限流与熔断可能缓解放大,但也要处理原工作是否真正结束。只减少客户端等待、不取消底层占用,会让调用方觉得响应更快,却把资源持续留在服务端。
队列积累同样要找到生产与消费关系。限制消费者数量不等于限制待提交数据;如果上游无限产生,内存会保留所有参数。背压和拒绝策略必须沿链生效,故障时也要保证消费者失败能够通知生产者,否则生产者可能永远等待一个不会再被消费的满队列。
证据记录的最小模板
一份有用记录可以只包含实例与版本、观测窗口、症状指标、候选命题、支持证据、反证或缺口、改变的关系与复测结果。每份栈与快照应有时间和来源,数值应有单位与统计范围。事实写成事实,推断写明条件,缺证据就保留下一步。
例如“内存高”不如“相同批量处理后,某缓存项数每轮增加且无淘汰;分配差分指向结果创建;清空后追踪存活减少但RSS保持高位”。这段记录同时说明保留问题与页面边界,避免未来有人误把RSS不降解释为修复失败。
哪些现象不足以直接下结论
看到线程数多,不足以证明泄漏,线程池可以按容量常驻;看到CPU低,不足以证明没有计算热点,进程可能被配额限制或只在短窗口计算;看到RSS高,也不足以证明对象仍然可达。每项指标都需要时间范围、负载和对应层证据。
一个好的下一步应尽量改变信息量而不是改变系统状态。例如在确认权限和开销后补阶段计时,能区分连接获取与SQL执行;直接扩池则同时改变容量、排队和数据库压力,反而让归因困难。紧急缓解可以必要,但要尽可能先保留现场,并把缓解效果与根因证据分别记录。
容易踩的坑与面试推演
第一坑是先重启再采现场,丢失唯一等待链。第二坑是凭单张栈认定死锁;空闲等待也有相同函数名。第三坑是凭最大分配行认定保留者,忽略对象可能由别的容器长期引用。
第四坑是混合不同实例和时间窗口。第五坑是把累计 CPU 秒当瞬时利用率。第六坑是设置全局调试器后不清理文件或后台输出任务。每个坑都让工具看起来有证据,实际上证据归属或语义已经错位。
面试问“Python 服务突然慢了怎么查”,应按实例窗口、计算等待分类、栈与资源链、可反证命题及复测回答。问“线程栈停在锁上意味着什么”,回答只能确认该次等待位置,还需持有者与状态。问“tracemalloc 没增长能否排除内存问题”,解释原生分配与页面证据边界。
实际填写的分诊闭环:三种故障不要混用修复
三个受控注入分别检验不同关系:重复 count 扫描是计算放大;锁持有者等待无关 Event 是资源生命周期错误;历史列表持续保留分配是所有权积累。它们都是教学故障,不是采集自生产事故。线程池的每个 Future 都由协调者读取,额外 ValueError 任务确认异常到达入口;“线程已经退出”不能代替“业务成功”。
| 症状与候选 | 实际证据 | 反证及定向修复 | 复测口径 |
|---|---|---|---|
| 计算多:重复扫描 | 固定 N=4000、K=40,记录进程 CPU 秒与经过秒 | 用 Counter 单遍汇总,不加线程掩盖工作量 | 同输入字典相等,总数等于 N |
| 等待:持锁跨外部等待 | held 后 waiter 已进入但 Future 未完成,采到两条线程栈 | 把 release.wait 移到 with lock 之后 | 外部 release 未触发时,waiter 已返回 |
| 积累:缓存无上限 | 分配差分与 retained 长度一起增长 | 清空旧根并使用 maxlen=16 的 deque | 四轮输入后长度仍为16,差分快照另存 |
把相同waiter放到修复前后,故意不触发外部release,差别最清楚:只延长超时,waiter仍依赖外部事件;把release.wait移到with lock之后,waiter已能返回。finally最后才释放owner并收割结果,这是教学清理,不是修复本身。内存对照则保留输入,撤销旧根并限制缓存,验证长度与追踪差分;当前记录没有测RSS,需要页面解释时继续OS进程内存排查。两项修复都改变所有权,但分别落在锁和对象图,不能互换工具。
CPU 案例尚不承诺性能收益比例;它证明结果等价和工作量减少,耗时基于当前机器。未知问题应先依据 OS 跨层长尾收集同窗口支持与反证,再选择工具。不要同时改算法、线程数、缓存与超时,否则恢复以后仍不知道哪个因果成立。
能力任务:让同伴隐藏上述一种注入,先交候选表和最少证据,再看实现。验收要求证明资源持有者、读取异步异常、修复后同条件验证功能与退出;主例只能捕获本进程栈,不能声称已经附加生产 PID。真实服务需要预置采样/诊断入口和权限边界。
一句话总结:分诊把症状变成具体资源关系,证据把候选原因变成可验证的修复。
- 先确认实例和时间窗口,避免拼接互不相关的现场。
- 栈找执行与等待位置,分配找创建位置,所有权分析解释持续保留。
- 修复后复测结果、延迟与资源生命周期,超时消失只是其中一项。