外观
对象删除了,进程内存为什么没降:引用计数、GC 与内存分配
摘要
服务删除缓存后,内存曲线仍然高位运行,究竟是对象没释放还是分配器没有归还页面?本文从一个可运行实验出发,讲清引用计数、循环回收和进程驻留内存的关系,帮助 Python 初学者建立内存排障模型。
验证环境: Windows x64,CPython 3.14.0 常规 GIL 构建;同一独立示例亦已在 CPython 3.13.7 运行通过。实验验证对象可达性与受追踪分配,并在Windows四轮工作量中记录当前工作集;Linux VmRSS分支未实跑,不承诺页面立即归还操作系统。
场景:del 和 gc.collect() 都执行了,为什么无效
下面讨论的是教学场景,不是没有证据的生产事故。一个日志查询服务把每次结果加入模块级列表。请求越多,列表越长。开发者删除函数里的 result,甚至每次请求结束都调用 gc.collect(),监控里的进程内存仍然增长。
先沿同一结果走三层:del result撤去局部箭头,模块列表的箭头仍在,collect不能清除可达对象;clear撤去列表保留以后,对象层才得到释放条件;操作系统的驻留页面还由分配器和页面调度决定。本篇的判断顺序是“谁仍保留→这批对象是否释放→页面指标如何变化”。三项不能互相代答,先追对象所有者,再解释工作集,才能避免用GC阈值处理其实仍有业务入口的数据。
本篇主线是 CPython 3.14 常规 GIL 构建,循环回收源码固定 v3.14.0。后续补丁行为单列说明,free-threaded 构建不直接套用同一引用计数模型。最小实验不依赖某代对象布局,只验证可达性和完整回收的基本关系。
第一层:名称删除,不等于对象消失
第 3 篇已经区分名称和对象。a = value 给名称建立绑定;容器加入对象,也会持有引用。对象本身没有“这个对象只属于变量 a”的普遍限制。多个局部名称、闭包、列表、模块状态和执行中的异常,都可能同时保留它。
可达性描述能否沿活跃引用关系找到对象。所谓根,可以先理解为程序当前仍有用途的入口,如模块全局、活动执行状态等。若某个根能经过缓存列表找到查询结果,那么它是存活对象,即使业务逻辑认为它已经没有价值。垃圾回收器负责识别不再可用的对象,无法替程序判断“这个缓存应该过期了”。
因此排查缓存增长要追的是所有者:哪个集合一直持有对象、键是否无界、淘汰条件有没有触发、请求结束是否删除临时状态。分配位置告诉你对象在哪里创建,保留位置告诉你它为什么还在。两者可能在不同模块,不能发现一个大量分配的函数就直接判定它泄漏。
图表将在阅读到此处时加载…
如果缓存本来就需要保存一段时间,解决办法是容量、过期、键空间和并发协议,而不是越快释放越好。一个正确有界缓存的内存上升到平台后可能是预期行为。判断泄漏前要结合负载和业务生命周期,区分增长、预热和真正的无界保留。
第二层:引用计数解决及时释放,循环回收补上缺口
引用计数(reference counting)记录对象受到的引用关系变化。对常规 CPython 中采用普通引用计数管理的对象,增加或移除持有关系会影响计数,计数归零时进入释放路径。这使许多没有循环的对象在最后一个引用消失后就能及时清理。
但“所有对象每加一个引用计数都立即加一”已经不是准确的通用描述。现代 CPython 存在 immortal object(不朽对象,在相应管理范围内不按普通引用变化释放),这些对象的计数不能解释为真实持有者数量。sys.getrefcount 的调用还会引入临时引用。官方 sys.getrefcount 文档明确提醒返回值不一定反映实际引用数,不能靠一个大数字数出所有业务所有者。
沿引用图先做一个具体预测:A和B互相引用,模块还保存A,collect以后能不能删掉这一环?不能,外部入口仍能到达它们。再删除模块入口,内部引用计数仍互相支撑,但整体已经不可达,这才是cyclic garbage collection(循环垃圾回收)补上的缺口。它分析容器间关系,区分内部互相贡献与集合外的存活来源,不是发现环就删除。
这里的“循环”不是每个环都必须删除。有外部根指向环,它就仍然活着。对象 A 自己引用自己只是一个最小实验;实际项目常见的是回调绑定实例、实例保存回调,或者异常对象保留调用栈、调用栈局部又保存业务对象。解除一个必要之外的持有关系,往往比调整回收阈值更直接。
在固定版CPython v3.14.0 的 Python/gc.c里,值得追的是如何在候选对象集合中扣除内部引用影响、寻找仍有外部来源的对象,以及处理最终不可达对象。学习时把这看成图分析思路,不能把某个内部字段名字当成永远不变的公共接口。
版本边界:3.14.0 和后续 3.14 文档不能混写
CPython 3.14.0 的回收设计包含增量回收变化,代际及 generation=1 的解释不能直接沿用 3.13 的描述。我们阅读的在线 /3.14/ 文档标识为后续补丁文档,其中明确记录 3.14.5 恢复中间代,gc.collect(1) 重新执行中间代回收。官方 gc 变更说明同时列出 3.14 与 3.14.5 两组行为。
所以“Python 3.14 有几代”这个问题必须补上补丁版本和构建方式。不能引用滚动更新的页面当前正文,宣称它就是 3.14.0 的布局;也不能读到 3.14.0 的增量设计后,把后续全部补丁描述成完全一样。
本文实验使用不带代参数的 gc.collect(),关注完整回收后的对象是否仍然存活,避免把代际细节变成示例前提。线上修改阈值时则必须记录完整版本,查对应补丁源码或发布说明,再验证停顿、分配量和内存变化。free-threaded 构建还存在不同的回收触发和引用管理条件,不能仅替换一个版本号便套用常规 GIL 构建结论。
第三层:对象内存与进程页面是不同指标
对象释放后,其内存可以先回到解释器或底层分配器,再由这些组件决定何时归还操作系统。分配器需要平衡调用系统分配接口的成本、碎片和复用效率。反复创建类似大小的对象时,保留可复用内存可能减少后续开销,而不是自动意味着泄漏。
RSS(Resident Set Size,驻留集大小)描述进程目前驻留在物理内存中的页面,是操作系统层指标。它不仅包括 Python 对象,还可能包括线程栈、扩展库原生分配、映射文件等。Python 对象大小、已追踪分配、虚拟地址空间与 RSS 没有简单恒等关系。
碎片则说明页面中的一部分空闲,不代表整个页面可回收。如果少量仍活着的块散落在许多分配区域里,即使大多数对象已释放,也可能无法立即释放整个区域。CPython 分配器、平台分配器和对象大小分布共同影响这个过程。不能在没有分配器证据时把任何平台曲线都归因为同一种 arena 机制。
sys.getsizeof 也不是计算整个对象图的万能函数。它通常描述当前对象本身的内存信息,容器引用的子对象需要另外分析,而且共享子对象不能重复累计。统计一个列表占用时,必须说明是否包括其中的字符串、字节缓冲和复用对象,否则数字即使来自真实函数也容易误导。
最小实验:环能回收,可达缓存不能回收
保存以下代码为 docs/python/examples/18_memory.py。实验关闭自动循环回收以观察一个自引用对象,之后显式完整回收;再构造有界缓存,展示对象保留与分配差分。设置在 finally 中恢复,不给进程留下改变后的回收配置。
python
"""Separate retained objects, cyclic collection and traced allocations."""
import gc
import json
import os
from pathlib import Path
import platform
import sys
import time
import tracemalloc
import weakref
class Node:
pass
def resident_reader():
if sys.platform == "win32":
import ctypes
from ctypes import wintypes
class Counters(ctypes.Structure):
_fields_ = [("cb", wintypes.DWORD), ("PageFaultCount", wintypes.DWORD)] + [
(name, ctypes.c_size_t) for name in (
"PeakWorkingSetSize", "WorkingSetSize", "QuotaPeakPagedPoolUsage",
"QuotaPagedPoolUsage", "QuotaPeakNonPagedPoolUsage",
"QuotaNonPagedPoolUsage", "PagefileUsage", "PeakPagefileUsage")]
kernel = ctypes.WinDLL("kernel32", use_last_error=True)
psapi = ctypes.WinDLL("psapi", use_last_error=True)
kernel.GetCurrentProcess.argtypes = []
kernel.GetCurrentProcess.restype = wintypes.HANDLE
psapi.GetProcessMemoryInfo.argtypes = [wintypes.HANDLE, ctypes.POINTER(Counters), wintypes.DWORD]
psapi.GetProcessMemoryInfo.restype = wintypes.BOOL
handle = kernel.GetCurrentProcess() # Pseudo-handle, must not CloseHandle it.
def read():
counters = Counters()
counters.cb = ctypes.sizeof(counters)
if not psapi.GetProcessMemoryInfo(handle, ctypes.byref(counters), counters.cb):
raise ctypes.WinError(ctypes.get_last_error())
return counters.WorkingSetSize # Current working set, not its peak.
return "Windows.WorkingSetSize.bytes", read
if sys.platform.startswith("linux"):
def read():
for line in Path("/proc/self/status").read_text(encoding="ascii").splitlines():
if line.startswith("VmRSS:"):
fields = line.split()
if fields[2] != "kB":
raise RuntimeError("unexpected VmRSS unit")
return int(fields[1]) * 1024
raise RuntimeError("VmRSS unavailable")
return "Linux.proc.VmRSS.bytes", read # Branch supplied but not tested on Windows.
raise RuntimeError("resident measurement implemented only for Windows/Linux")
def main():
metric, read_resident = resident_reader()
read_resident() # Warm OS API/library setup before beginning traced allocations.
print("environment:", platform.python_version(), platform.platform(), os.getpid(), metric)
def sample(round_number, phase):
current, peak = tracemalloc.get_traced_memory()
print(json.dumps({"round": round_number, "phase": phase, "cache_items": len(cache),
"traced_current_bytes": current, "traced_peak_bytes": peak,
"resident_metric": metric, "resident_bytes": read_resident(),
"observed_monotonic_s": time.perf_counter()}))
was_enabled = gc.isenabled()
gc.disable() # Bound the experiment and always restore the process setting.
tracemalloc.start()
cache = []
try:
node = Node()
node.link = node
probe = weakref.ref(node)
del node
assert probe() is not None
gc.collect()
assert probe() is None
print("cycle collected:", probe() is None)
for round_number in range(1, 5):
sample(round_number, "baseline")
before = tracemalloc.take_snapshot()
# Same work in each round; reachable cache objects cannot be removed by GC.
cache.extend(bytearray(4096) for _ in range(128))
after = tracemalloc.take_snapshot()
sample(round_number, "retain")
for stat in after.compare_to(before, "lineno")[:3]:
print(stat)
gc.collect()
assert len(cache) == 128
cache.clear() # Repair ownership, rather than repeatedly calling collect.
cleared = tracemalloc.take_snapshot()
sample(round_number, "clear")
for stat in cleared.compare_to(after, "lineno")[:3]:
print(stat)
assert not cache
finally:
cache.clear()
tracemalloc.stop()
if was_enabled:
gc.enable()
if __name__ == "__main__":
main()powershell
python docs/python/examples/18_memory.py先核对三份状态,避免把两种保留混在一起。自引用node删除外部强引用后,弱引用仍能暂时观察,完整collect后 cycle collected: True;cache却始终有外部入口,128项不会被同一collect清掉;clear撤销这个入口后数量才为0。代码断言验证对象层结论。分配行号、字节数和排列依环境变化;后面的工作集观测是另一层证据,不由这三项直接推导。
弱引用(weak reference)允许观察对象,而不把该观察本身变成强持有者。若把 probe 改成另一个普通名称保存 node,删除原名后对象仍然活着,那就不是循环回收失效。示例让弱引用明确分开“为了看它”与“因为看它而留住它”。
对同一批缓冲比较两种动作:collect只处理它能识别的不可达垃圾,clear则撤销cache持有;只做前者,业务入口仍在,后者才改变保留关系。这里创建128个固定大小缓冲,不靠耗尽内存展示区别。把判断迁移到全局历史列表时,也应先找淘汰或请求结束的所有权路径,再考虑回收参数。
用分配差分走到保留关系
tracemalloc 是追踪 Python 内存分配的工具。两次 Snapshot(快照,在某一时刻记录追踪中的分配状态)之间按文件行号对比,可以找到哪个创建位置的存活分配增加。官方文档建议尽早启动追踪,避免漏掉追踪启动前已经分配的对象。
分配差分指向“在哪里创建”,下一步要沿这些对象走到“谁仍持有”。每次请求创建结果可以完全合理,若结果不断加入全局历史列表才形成持续保留。修复应撤销或限制历史根,不能把分配热点改成全请求共享一个可变结果,以内存降低换取串数据。对象引用的箭头关系在这里直接用于判定修复是否改变了正确所有者。
tracemalloc 不保证覆盖所有原生库分配。若 RSS 增长而追踪到的 Python 分配基本平稳,候选原因包括原生分配、页面复用、线程增长等,需要 OS 内存映射和相应扩展工具补充。反过来,追踪增长也不能直接证明所有增长都是泄漏,预热缓存和持续保留的合理数据也会被记录。
调查时应在相近负载和生命周期位置取样,例如完成同样数量请求、等待临时任务结束后再比较。把运行初期快照和高负载峰值快照直接相减,会把导入、预热和正在工作的请求对象混入增长。多次相同工作单元之间的趋势,比一张最大的快照更有解释力。
清理还有一层:对象生命期不是外部资源协议
文件、socket 和数据库连接拥有操作系统资源。不要依赖“CPython 通常引用归零就释放”替代显式关闭。异常链、循环引用、其他实现和调试变量,都可能让最终释放晚于业务请求结束。
上下文管理器也要看具体协议。SQLite 连接的 with connection 管理事务提交或回滚,并不等于关闭连接。这意味着“用了 with”不足以证明资源已关闭,第 16、24 篇会显式区分事务范围与连接范围。内存回收机制不能替代每个资源 API 的文档契约。
对象终结函数里的行为也应谨慎。最终清理时机与执行环境复杂,依赖终结函数执行关键外部业务会增加不确定性。现代 CPython 能处理比过去更多的带终结器循环情况,但“有终结器”不应成为把所有对象都认定为不可回收的理由。应使用当前版本证据,而不是背旧版经验。
循环回收的图推理:为什么不是发现环就删掉
假设候选集合只有 A 和 B,它们互相引用。外部模块还保存 A 时,A 的引用来源包括集合外入口和 B;B 的来源可能只有 A。回收过程不能只检查“谁的计数不为零”,否则两者都看起来正常;也不能只检查“是不是存在环”,否则有用的图也会被删除。
一个可理解的思路是先记录候选对象的引用信息,再扣除候选集合内部彼此贡献的引用。扣除以后仍有外部来源的对象,是这一轮明确可达的起点;沿它们的边继续传播,可以识别间接可达对象。剩下的对象才属于这次要进一步处理的不可达集合。这是帮助理解的简化模型,实际实现还处理增量范围、终结器与其他细节。
当外部模块也删除对 A 的引用时,内部 A 与 B 仍互相支撑,但扣除内部引用后没有外部起点,两者整体不可达。这个对比说明循环回收不是“清理所有相互引用的对象”,而是在候选范围内找没有存活入口的关系。固定版源码里的 update_refs、subtract_refs 和不可达推导步骤,可以沿这个问题阅读。
对象要参与这种分析,还需要让回收器知道它引用哪些其他对象。容器类型与扩展类型有对应协议;不是所有内存块都自然出现在同一张图里。原生扩展若以自己的方式持有缓冲或外部资源,需要对应接口与工具补充分析。因此 gc.get_objects 不能当成“整个进程所有东西的完整目录”。
从“增长”到“泄漏”:设置可重复的工作单元
给日志服务设计一个工作单元,例如处理固定数量记录,再等待后台任务收束。重复若干轮,在每轮相同位置检查缓存项、追踪字节与线程数。若第一轮增长来自导入和预热,后面稳定,这与每轮都新增固定保留不同。只拿启动时和峰值时两张图,没有足够条件区分二者。
修复后也不要要求 RSS 立即回到启动值。更合理的观测是继续执行同样工作,追踪存活分配和业务容器不再无界增加,进程高位页面能够复用,错误率与延迟仍符合目标。必要时再追页面归还策略,不能把“必须降到最初值”作为所有分配器的通用正确性条件。
如果需要更深入地检查原生分配,应记录扩展库、分配器与 OS 版本,并用匹配工具采集。没有原生证据就停止在“Python追踪不能解释全部RSS”的边界,标明下一步,而不是随便把差额归给某个解释器缺陷。证据不足的克制,比一个听起来底层的猜测更有排障价值。
调试变量也可能成为所有者
在交互环境里查看一个对象后,环境可能保存最近结果,调试器也可能保存局部值或异常现场。你随后删除业务名称,对象仍然存在,原因可能是观测工具延长了生命期。检查时要区分生产代码的引用与调试过程新增的引用,必要时在独立脚本中复现,避免把交互缓存当成解释器不回收。
弱引用观测同样要谨慎:调用弱引用取得对象后,若将返回值保存到局部变量,就重新创建了强引用。示例只即时比较,不长期保存对象,所以不会把观察变成保留。若对多个对象做关系分析,及时释放结果容器,才能使下一轮回收观察仍有解释力。
内存问题最终还要看单位工作量。请求数翻倍、必要数据翻倍,增长可能合理;固定输入重复后保留不断增加,则支持生命周期错误。资源成本应由业务上限定义,不能仅以“运行时间越久数值越大”认定某个GC实现缺陷。
容易踩的坑与面试推演
第一个坑是开启调试保存垃圾的设置后,误把调试器主动保存的对象当成新增泄漏。调试设施可能改变对象生命期,排查结束需要恢复设置。本文只临时关闭自动回收,不修改保存垃圾的标志。
第二个坑是通过 gc.get_referrers 探查所有者时,把返回列表长期保存到全局。观察动作本身可能新增持有关系,且返回对象并非完整业务归属证明。需要缩短观测变量生命期,并结合代码结构解释引用从何而来。
第三个坑是上来调整回收频率。若根因是可达缓存,调整没有解决能力;若是循环垃圾,更频繁回收可能降低积累但增加 CPU 与停顿;若主要来自原生分配,也可能毫无作用。先分类,再选干预手段,最后同时验证内存和服务延迟。
面试问“为什么 Python 需要 GC,既然已经有引用计数?”应回答循环不可达对象的内部引用不会自动归零,并解释普通及时释放与循环图分析如何互补。不要把“GC”只当成一个周期性清空全部内存的动作。
问“删除对象后内存一定下降吗?”要先确认删除的是绑定还是最后一个持有者,再区分对象释放、分配器复用和 OS 页面变化。问“引用计数是否总等于持有者数量?”要指出临时引用、immortal 对象以及不同构建的引用管理限制,不能拿 getrefcount 当业务所有者计数器。
三份快照:证明修复的是保留关系
实验保留before、after、cleared三个快照。前两个回答“这批对象从哪里分配”,后两个回答“撤销 cache 所有权以后,哪些追踪分配减少”。cleared.compare_to(after, "lineno") 的负差分是净变化,不要求每一行都为负:快照、打印和运行时也会产生对象。快照元数据与当时追踪的业务对象是不同集合,不能将统计记录仍存在解释成缓存未释放。
同一阶段还通过Windows 的 GetProcessMemoryInfo 读取 WorkingSetSize,与追踪分配在相同阶段记录;Linux 分支提供 /proc/self/status 的 VmRSS 读取,但未在Linux实际运行。它们的口径和核验状态见下一节。需要映射、私有页和进程身份的进一步证据时,转到 操作系统进程内存排查,不能把 Python 行级差分直接当成 OS 页面返还证明。
能力任务:分别实现“无界历史列表”与“最多保留 32 项的缓存”,连续执行四个工作单元,记录每轮缓存长度和追踪分配。验收要求有所有权图、清空后的第三份快照、相同输入的结果;若增加 RSS 记录必须说明平台 API 和窗口。反例是循环调用 gc.collect 而继续保留列表,正例是根据业务容量撤销或限制根引用。
把对象观测接到OS驻留:四轮同工作量对照
每轮主例在 baseline、retain、clear 三个阶段采集追踪当前字节、追踪峰值、容器长度和OS驻留。工作量始终是128个4096字节的bytearray,业务缓存从空到128项再到空;循环垃圾实验先完成,自动GC设置最终恢复。初始化ctypes和Windows API先预热,再开启tracemalloc,减少库导入混进第一轮的影响。记录有PID与单调时钟时间,两个指标是同阶段顺序采样,不能称为原子同时快照。
Microsoft PROCESS_MEMORY_COUNTERS文档定义 WorkingSetSize 为当前工作集大小,单位字节;PeakWorkingSetSize 是另一项峰值,不能错读它来证明清空后驻留不下降。GetProcessMemoryInfo要求传入结构及其字节大小,代码用DWORD和c_size_t匹配字段,并检查调用是否成功。ctypes无需WMI,读取失败会明确抛异常,不用零伪装有效数据。
Windows工作集反映进程当前驻留页面的集合,不等于Linux RSS,更不等于PSS(按共享页面分摊的驻留量)。它包含解释器、库、栈与其他页面,不能只归于Python业务对象。Linux分支把VmRSS的kB换算成字节;proc_pid_status手册也指出该项是存在精度限制的驻留统计,不是逐对象精确账本。Linux部分只核验文档与分支代码,未实跑该分支,也不报告Linux RSS/PSS结果。
以下为已记录的CPython3.14.0、Windows-11-10.0.26200-SP0实际输出,全部单位字节。3.13.7也完成四轮运行,原始输出单独保存;不能把两个独立进程的启动基数差异归因于某一版本的内存优化。
| 轮次 | 追踪baseline | 追踪retain | 追踪clear | 工作集baseline | 工作集retain | 工作集clear |
|---|---|---|---|---|---|---|
| 1 | 347 | 535805 | 4186 | 30228480 | 30687232 | 30429184 |
| 2 | 10895 | 543918 | 8849 | 30433280 | 30744576 | 30445568 |
| 3 | 16769 | 549580 | 12020 | 30445568 | 30818304 | 30920704 |
| 4 | 19266 | 551309 | 12334 | 30920704 | 31014912 | 31014912 |
回到最初的两层判断:四轮cache清空后长度为零、追踪当前字节明显减少,支持本批对象的业务保留已经撤销;工作集第一二轮下降,第三轮反而上升,第四轮不变,说明页面观测不与这份对象变化一一同步。不能要求“工作集必须不下降”,也不能把某轮下降扩大成全部页面归还。修复对象层后,若仍要解释驻留,就继续查页面和分配器证据,不能倒过来让一个RSS曲线否定已经验证的引用状态。
这种不一一同步与分配器复用或未立即返页的机制相容,但不足以确定是哪一个分配器保留了多少页面。工作集还受系统页面调度、解释器运行和观测设施影响;快照、差分展示、打印及行信息缓存会产生额外费用。追踪峰值是历史上限,clear后不会自动降低,更不能拿峰值与当前工作集相减,宣称差额都是原生泄漏。四轮样本也不足以证明所有长期分配已稳态。
若要验证复用假设,继续在相同位置执行更多轮,避免保留所有历史快照,减少打印扰动并同步查看映射与私有分配;观察同工作量是否停止无界增长,再选择匹配分配器的工具。若Python追踪无法解释驻留,结论先停在“需要OS与原生证据”,不能直接归因于CPython缺陷或扩展泄漏。这个桥梁把两层观测放进同一因果实验,而不是让一个指标代替另一层。
一句话总结:内存排障先找到谁保留对象,再区分对象回收与页面归还。
del删除绑定,可达对象不会因为一次 GC 就失去业务所有者。- 引用计数与循环回收解决不同问题,具体布局必须绑定补丁版本和构建。
- 分配差分、引用关系和 RSS 是互补证据,不能拿其中一个代替其他层。