外观
11 - 处理大文件为何耗尽内存:迭代器、生成器与惰性求值
摘要
日志文件变大后,原本正常的统计脚本突然占用大量内存。本文从全量读取与一次性迭代的误用出发,解释迭代协议、生成器暂停和资源释放,帮助你写出有边界的流式处理代码。
版本范围:Python 3.14。示例使用标准库临时文件:三行数据验证消费语义,固定的 256 条约 1KiB 记录比较受追踪分配;结果不用于宣称普遍的性能提升。独立示例已在 Windows 上使用 CPython 3.14.0 与 3.13.7 执行通过。
1. 场景:把 readlines 换成生成器,问题就解决了吗
教学场景里,一个脚本需要统计日志中的异常信息。开始只有几百行,作者调用 readlines(),再创建过滤后的列表,然后计算数量。文件增大时,原始行列表和过滤结果同时存在,内存明显增长。有人把过滤结果改成生成器表达式,但随后为了方便调试又执行 list(result),全量数据重新进入内存。 可进一步阅读inode目录链接与文件描述符:文件对象包装的描述符有独立生命周期。
另一个修改更隐蔽:先 list(result) 写出预览,再遍历 result 做汇总。第二次没有任何数据。程序没有报异常,统计结果却是零。这两个问题都来自没有分清“描述一组可以遍历的数据”“保存遍历位置”和“实际持有全部数据”的关系。
沿一次消费记录三件事:位置推进到哪里、哪些对象仍保留、谁负责结束资源。 生成器能推迟计算,却不自动限制最终结果,也不把一次性来源变成可重放数据源。输入、变换、输出的缓冲和关闭责任要一起检查。
先预测预览取走第一条后,再交同一个 result 汇总,是否从头开始。不会:预览改变的是这个迭代器的位置;重新调用生成器函数才建立新的执行状态。另一个分叉是 list(result):它消费位置并保留全部结果,外层有生成器语法也不改变这两步。
2. iterable 与 iterator 是两个职责
iterable(可迭代对象)能通过 iter(obj) 提供迭代器。iterator(迭代器)保存遍历状态,通过 next(iterator) 给出下一个值,结束时抛出 StopIteration。迭代器自身也可迭代,通常 iter(iterator) 返回它自己。
列表是可迭代对象;两次 iter(list) 通常创建各自保存位置的列表迭代器,因此可以分别从头遍历。生成器对象则是迭代器,已经保存执行位置;对同一个对象再调用 iter 不会让它重新执行生成器函数。文件对象也可以逐行迭代,位置同样随读取推进。
for 在概念上先取得迭代器,再不断请求下一个值,直到接到正常结束信号。它不是知道列表长度之后自动按下标读取所有类型。统一协议让列表、文件、数据库游标和自定义来源可以使用相同的循环形式,但这些来源在重放、缓存和资源持有上未必相同。
官方 迭代器类型说明约定了 __iter__ 和 __next__ 的接口,以及耗尽后的行为。理解协议时要区分正常结束与处理异常:读完文件是一种结束,文件损坏或解析失败则应传播相应错误,不能把所有异常都改写成“没有更多数据”。
2.1 手动遍历有助于看到位置
设 items = ["a", "b"],cursor = iter(items),第一次 next(cursor) 得到 a,第二次得到 b。第三次会触发 StopIteration。next(cursor, default) 可在正常耗尽时返回默认值,但若迭代器内部抛出其他异常,不会自动返回默认值。
返回默认值也有语义风险。如果来源合法地产出 None,又把 None 用作结束标志,就分不清两种情况。需要手动控制时可以使用独立的哨兵对象,或者在窄范围捕获 StopIteration。普通场景优先使用 for,避免自己重复实现协议处理。
3. yield 保存的不是整个结果,而是执行状态
generator function(生成器函数)是函数体中包含 yield 的函数。调用它首先得到 generator(生成器对象),而不是立即执行函数体并返回全部结果。消费者第一次请求值时,函数才开始执行,到 yield 把一个值交出去并暂停。
暂停状态包含恢复需要的信息,例如局部变量、当前位置和关联资源引用。在 CPython 中,这些状态由生成器及相关执行帧结构维护;具体字段与执行器实现随版本变化,不需要记住 C 结构名称才能理解生命周期。重要的因果链是:消费者不请求下一项,暂停后的代码就不会继续执行。
下次 next 恢复到暂停点之后,继续处理并产生下一项。函数正常返回时结束迭代,return 的值不是下一项业务数据。要产生值应使用 yield;要委托另一个可迭代来源可使用 yield from,它还会处理委托过程中的相关协议。
图表将在阅读到此处时加载…
这正是惰性求值(lazy evaluation,延迟到需要时才计算)的作用。它减少不必要的提前工作,也改变错误出现的时间:创建生成器可能成功,第一次遍历才发现文件不存在。接口文档与异常处理必须涵盖消费过程,不能只包住创建表达式。
3.1 暂停的局部变量仍可能占内存
生成器不是零内存。若局部变量保存了一个巨大列表,即使只 yield 一个小值,暂停状态仍可能保留整个列表。若调用 sorted(source),排序通常要持有足够的数据完成全局排序,外层再套生成器也不能把它变为普通逐项变换。
从机制上判断内存,应列出同时存活的数据:输入缓冲、当前解析对象、生成器局部引用、队列和最终输出。逐行读取让输入部分有界,但如果最终按每个唯一消息创建一个字典项,字典仍可能随消息种类增长。高基数字段,例如包含随机请求标识的完整日志文本,会让“统计脚本”接近保存全部输入。
4. 最小实验:消费一次、重新创建与提前关闭
先跟踪 errors(path):创建时函数体未运行;第一次 next 打开文件并产出一条 ERROR,暂停时文件仍开着;继续消费走完剩余输入,耗尽后再次 list 得空。重新调用 errors 才从头产生两条。若第一条后主动 close,清理应在退出协议中发生,而不是等到下一次消费。后面的状态与产出计数分别对应这些阶段。
保存为 examples/11_streaming.py,执行:
powershell
python docs/python/examples/11_streaming.pypython
"""独立示例:有界文件流与生成器生命周期。"""
from pathlib import Path
from tempfile import TemporaryDirectory
import tracemalloc
def errors(path, observation=None):
with path.open(encoding="utf-8") as source:
if observation is not None:
observation["file"] = source
observation["produced"] = 0
for line in source:
level, message = line.rstrip("\n").split(" ", 1)
if level == "ERROR":
if observation is not None:
observation["produced"] += 1
yield message # 暂停在这里,文件仍然打开。
def count_levels(path, materialize):
result = {}
with path.open(encoding="utf-8") as source:
rows = source.readlines() if materialize else source
for line in rows:
level = line.split(" ", 1)[0]
result[level] = result.get(level, 0) + 1
return result
def measured_counts(path, materialize):
tracemalloc.start()
try:
result = count_levels(path, materialize)
current, peak = tracemalloc.get_traced_memory()
return result, current, peak
finally:
tracemalloc.stop()
if __name__ == "__main__":
with TemporaryDirectory() as directory:
path = Path(directory) / "demo.log"
path.write_text("INFO boot\nERROR timeout\nERROR reset\n", encoding="utf-8")
stream = errors(path)
first = list(stream) # 教学反例:全量物化,并耗尽一次性迭代器。
second = list(stream)
assert first == ["timeout", "reset"] and second == []
print("consumed:", first, second)
counts = {}
for message in errors(path): # 正例:重新创建流并逐条聚合。
counts[message] = counts.get(message, 0) + 1
print("counts:", counts)
observation = {}
partial = errors(path, observation)
assert next(partial) == "timeout"
assert not observation["file"].closed and observation["produced"] == 1
partial.close() # 提前停止时显式释放生成器内的文件。
assert list(partial) == []
assert observation["file"].closed
print("closed:", observation["file"].closed, "produced:", observation["produced"])
path.write_text("ERROR " + "x" * 1024 + "\n", encoding="utf-8")
with path.open("a", encoding="utf-8") as target:
for index in range(255):
target.write(("INFO" if index % 2 else "ERROR") + " " + "x" * 1024 + "\n")
materialized, materialized_current, materialized_peak = measured_counts(path, True)
streamed, streamed_current, streamed_peak = measured_counts(path, False)
assert materialized == streamed and sum(streamed.values()) == 256
# 只判断本实验固定数据的峰值关系,不宣称所有输入都有相同比例。
assert streamed_peak < materialized_peak
print("traced bytes current/peak:", (materialized_current, materialized_peak),
(streamed_current, streamed_peak))
path.write_text("ERROR first\nbroken\n", encoding="utf-8")
failed_observation = {}
published = None
try:
collected = list(errors(path, failed_observation))
published = collected # 只有完整消费成功才发布完整结果。
except ValueError:
pass
assert published is None and failed_observation["file"].closed
print("partial result published:", published, "closed after error:",
failed_observation["file"].closed)确定性预期为第一次消费得到 ['timeout', 'reset'],第二次为空;重新创建生成器得到两个计数项;提前关闭后输出 closed: True。实验只证明一次性状态与清理语义。三行数据不足以支持任何内存节省比例,更不能推断线上吞吐。
重新创建只适用于来源可以重放的情况。文件可再打开,但内容可能被其他程序修改;网络消息消费后不一定能再次取到,数据库查询两次也可能看到不同快照。若业务必须比较同一批数据,要明确快照、游标、备份或缓存策略,而不是直接重跑生成器并假设输入不变。
把文件换成数据库游标或消息来源,相同之处是位置、保留状态与结束责任;不同之处是游标连接或确认消息的协议。第十六篇补连接作用域,二十一篇补取消传播。逐行处理只控制输入侧,中途累积高基数统计表或无界输出队列时仍会增长;这正是为何要把同一保留状态模型追到链路末端。
5. with 写在生成器内部,谁负责退出
with 管理的文件在生成器开始遍历时打开,在正常耗尽或关闭生成器、退出该代码块时关闭。暂停在 yield 时,with 尚未退出,因此文件仍处于打开状态。消费者执行 break 只是退出自己的循环,不代表自动对所有迭代器调用 close。
CPython 的对象回收时机有时让短小代码看上去立即释放资源,但这不能成为跨实现的资源管理保证。持有生成器引用、出现循环引用或改变执行环境,都可能改变何时清理。早停需求明确时,消费者应在 finally 中关闭,或者使用 contextlib.closing 管理支持 close 的生成器。
另一种接口设计是由调用方打开文件,再把文件对象传给生成器。这样调用方的 with 明确覆盖整个消费过程,生成器只负责数据变换。两种方式都可以,关键是所有权一致:内部打开就要向调用方交代早停清理方式;外部提供资源就不要擅自关闭调用方还需要的资源。
close() 会向暂停的生成器注入终止信号,使它有机会执行 finally 清理。生成器不应在关闭过程中继续 yield 业务值,也不应吞掉终止后继续无限运行。这里的关闭解决的是 Python 生成器协议和相关资源清理,不保证外部操作可以被瞬间撤销。
6. 流式管道如何做到有边界
先把每一阶段的输入输出写清楚。例如文件行到解析记录、解析记录到异常记录、异常记录到有限类别计数。保持中间变换逐项处理,聚合阶段只存业务需要的摘要。对未知类别设置上限或分桶策略,避免日志正文、用户标识等字段让结果无限增长。
backpressure(背压)指下游处理能力限制上游继续产出。同步拉取式迭代天然使生产节奏受消费者请求影响:没有下一次 next,生成器通常不继续执行。但若另起线程预读并放入无界队列,或者一次提交无限任务,这个边界就被打破。生成器本身并不控制其他并行生产者。
批量处理可以减少调用和外部请求次数,但批大小要与内存、延迟和失败重试范围一起设计。单条处理未必最快,全量加载也未必必然错误;输入规模明确、需要随机访问或全局排序时,物化可能合理。正确选择依赖操作需求与容量预算,不依赖“生成器总比列表好”的口号。
使用 itertools.tee 复制逻辑迭代路径时也要谨慎。不同消费者推进速度不一致,工具需要保存尚未被慢消费者取得的数据,缓存可能增长。它没有让一次性输入凭空免费重放。对大型来源,多次独立遍历、落盘缓存或明确限制消费者差距通常更可评估。
7. 容易踩的坑:错误信号与来源变化
生成器内部不应通过主动抛出 StopIteration 来表示普通业务分支结束;用 return 更明确。意外逸出的 StopIteration 在现代 Python 生成器中会转换为 RuntimeError,避免内部错误静默截断数据。这是 PEP 479描述的行为,不能把所有发生在迭代里的异常理解成正常结束。
边遍历边修改容器也是风险。列表迭代在修改后可能跳过、重复或延后看到元素;字典与集合对某些结构变化会报错。不能以一次实验“没有报错”证明写法可靠。需要修改时可以构建新结果,或先明确制作快照;快照又要把内存成本算入预算。
文件单行本身也可能很大。逐行处理限制的是同时保留的行数,不必然限制字节数。面向不可信输入,应规定单条记录长度、总文件大小、解析字段长度和异常策略。解码、切分、JSON 解析都可能建立额外对象,流式边界要覆盖解析阶段。
最后是异常捕获位置。仅写 try: stream = errors(path) 无法捕获实际打开文件时的错误,因为函数体还没开始。要覆盖 for 消费,并按需要保留错误上下文。出现部分成功时,应明确输出是否作废、是否带部分结果标识,不要将半份统计悄悄当完整结果发布。
7.1 用受控观察确认流式边界
验证时先保持输入规模可控,再列出预期随规模增长的部分。只统计固定级别时,结果字典的类别数应稳定;保留每个唯一消息时,结果增长则是设计效果。可以通过 tracemalloc 比较 Python 分配来源,但它不覆盖所有原生缓冲,也不直接等于进程 RSS。两种指标方向不同,并不自动说明测量错误。
同时验证消费次数与清理。给教学来源添加产出计数,读取一项后确认没有提前处理所有行;再提前关闭,确认后续不会继续产出。真正的网络来源和数据库游标可能在驱动内部预取,所以逐项 Python 迭代只证明上层调用方式,不证明底层每次只拿一条数据。需要查阅驱动的批量获取与游标模式。
如果输出还要写入文件,采用临时输出、完成后再按业务规则发布,可以避免半份结果被误认为完整结果。这个发布步骤不是生成器协议的一部分,而是处理链的完整性要求。流式程序通常在数据量增加时暴露问题,但修复往往需要同时检查结果状态和资源状态,不能只减少一个列表。
恢复生成器时还要检查执行上下文。若函数依赖全局配置,暂停前后配置可能改变,同一条流就使用了两套规则。需要批次一致性时,在开始消费之前取得明确快照,或将配置作为不可变参数传入。惰性执行改变时间边界,数据来源和配置来源都需要考虑;它不是单纯的内存技巧。
验证异常时也要覆盖中途失败。文件前两行可解析,第三行格式错误,生成器可能已经输出部分结果。消费者应决定回滚输出、保留部分进度或重新开始,不能在最后捕获异常后直接发布先前累计值。用这种最小数据,比堆一个巨大文件更容易检验完整性边界。
输入越大,越需要先验证有界性与清理,再讨论微小的语法性能差异。
8. 进阶与面试
生成器与迭代器是什么关系? 生成器对象实现迭代器协议,是一种保存函数执行状态的迭代器;不是所有迭代器都是生成器。列表提供迭代器,但列表本身不保存同一种一次性游标。
为什么生成器节省内存? 它可以按需产出,不必提前存全部中间结果。结论依赖函数内部与下游没有另行物化巨大数据。应补充暂停状态、结果聚合和缓存仍占内存,而不是声称固定常数内存。
break 后文件一定关闭吗? 不一定。循环退出不是通用关闭协议;若资源在暂停生成器内部,调用方要按所有权安排显式关闭。
进阶学习 send、throw 和 yield from 时,把它们放到暂停与恢复模型里理解。普通数据管道未必需要双向通信;网络并发则继续阅读第 21 篇,async/await 的调度和取消不能直接用同步生成器的消费模式替代。
用关闭状态与分配峰值检验流式边界
直接测量关闭状态、产生数量和内存范围
消费实验用观察字典保存实际文件对象和已产生记录数。消费一个元素后 file.closed 为假、数量为一;显式 generator.close() 后为真。这直接证明惰性生成器尚持有资源,而不是从 finally 打印文字猜测。中途坏行的实验只在完整消费成功后给 published 赋值,失败后它保持 None,文件已经关闭,避免把不完整统计包装成完整报表。
另一组固定实验创建256条约1KiB记录,比较 readlines() 后计数与边读边计数,断言结果一致。tracemalloc(Python 分配追踪工具)的 current/peak 只覆盖本次受追踪分配,不是进程 RSS。该固定输入上流式峰值更小,数字随版本与分配器变化;不能由此声称任意流式算法都节省固定倍数内存,若下游仍把全部对象放进列表,优势会消失。
独立能力任务:分别实现完整消费、中途主动关闭、中途解析失败三条路径。验收每条路径的真实 file.closed、产出数量与发布状态,并证明结果一致后才比较峰值。数据库流式结果还持有连接,继续阅读数据库事务与连接生命周期,明确慢客户端如何延长资源占用。
9. 结尾
生成器把执行状态交给消费节奏,真正可靠的流式处理还需要有界缓冲、明确重放语义和资源释放责任。
- 可迭代对象提供遍历方式,迭代器保存位置,同一个生成器不会自动从头开始。
- 惰性求值推迟计算和错误,中间列表、局部引用与最终聚合仍影响内存。
- 提前停止时明确关闭资源,所有阶段共同决定流式边界。