外观
Python 源码究竟怎样执行:AST、字节码与解释器调用链
摘要
一段函数源码没有改,运行结果为什么会变?本文面向已有编程经验、刚接触 Python 的读者,沿源码、编译、函数创建与调用逐层追踪,学会用 AST 和 dis 验证执行模型,也明确这些证据的边界。
验证环境: Windows x64,CPython 3.14.0 常规 GIL 构建;同一独立示例亦已在 CPython 3.13.7 运行通过。反汇编格式、指令名称和源码位置随版本变化,不作为固定字符串断言。
场景:代码没改,日志统计结果却变了
这是一个教学场景。日志工具定义了 count(rows),函数体只有 return len(rows)。某次重构在同一个模块定义了一个也叫 len 的函数,原本返回真实行数的统计突然返回固定值。排查者看到源码没有变化,怀疑旧的 .pyc 文件或者解释器缓存。
先固定源码和输入,只改变 len 的绑定,预测返回值是否应保持2。如果编译已经冻结调用目标,结果就不该变;如果函数调用时还查全局环境,遮蔽就会生效。本篇沿“编译确定访问类别、调用取得当前对象”这条有限模型追源码、代码对象与函数环境,用2→999→2的对照排除把所有变化归给pyc缓存的解释。
本篇以 CPython 3.14 常规 GIL 构建为主线,内部源码固定到 v3.14.0。CPython 是 Python 语言的一种实现;其他实现可以用不同的执行方式满足语言语义。示例仅使用标准库,实际运行版本与输出由专栏统一验证记录注明。下面涉及指令名称和布局的内容不能直接套到其他版本。官方 dis 文档明确说明字节码属于 CPython 实现细节,不保证跨版本、跨虚拟机保持一致。
先分清四种东西:源码、语法树、代码对象与函数对象
源码是人编写的文本。解释器需要识别缩进、标识符和运算符,再判断它们是否组成合法程序。仅仅把文本分成单词,还不知道一个 return 属于哪一个函数,也不知道调用的参数和操作数之间有什么关系。
AST(Abstract Syntax Tree,抽象语法树)把语法结构组织成树。例如 return len(rows) 不是一串互不相关的字符,而是一个返回语句,返回值是函数调用,调用目标是名称 len,参数是名称 rows。所谓“抽象”意味着它保留表达式之间的关系,而不保留所有排版细节。注释通常不作为执行语义的一部分存在于这棵树中。
代码对象(code object)是编译后的执行描述,包含字节码及执行需要的元数据,如常量、名称和源码位置。它描述“怎样执行”,不是一个完整的业务函数。它本身不会携带所有运行时全局状态,也不等于每次调用过程中正在变化的局部变量。
函数对象在执行 def 语句时创建,连接代码对象、模块全局命名空间、默认参数以及可能存在的闭包。闭包保存外层函数的变量绑定,使内层函数离开外层调用后仍能访问它们。代码对象可以相同,函数所连接的环境可以不同,最后执行结果也可以不同。
执行帧(frame)是一次执行过程的上下文。函数被调用后,参数绑定到对应局部位置,执行位置向前推进,临时计算值出现又被消费。递归调用同一个函数时,不需要复制函数源码,但每次调用必须有独立的执行状态。这就是函数对象和一次函数调用不能混为一谈的原因。
图表将在阅读到此处时加载…
沿图往下,每一步都问“已有描述,还是已产生本次状态”:AST有调用结构,代码对象有执行描述,exec执行def才创建函数,调用才产生参数和临时值。后层需要前层,但前层不会提前完成后层。编译优化、导入缓存和可选执行器还有细节;先用这条主线定位状态产生在哪一步,再读具体实现,避免把模块执行、普通函数与生成器的术语拼成一条错误链路。
为什么编译时不把 len 永久固定
Python 允许模块名称在运行时重新绑定。编译器看到 len(rows),需要确定名称属于局部、全局还是闭包访问等类别,但不能通常把全局名称替换成当前对象并永久冻结,否则之后合法的重新绑定会失去作用。
普通函数里的局部名称由编译器按函数体中的绑定关系分类。因此“先读取名称,后在函数里给同名名称赋值”的程序,有可能得到 UnboundLocalError:编译器已经把它当作局部名称,运行到读取位置时却没有局部值。这个错误不是运行时突然忘记搜索模块,而是编译阶段对名称类别作出了决定。相关规则见执行模型的名称绑定与解析。
全局访问则关联函数的模块命名空间,再涉及内建名称空间。示例通过显式 namespace 执行代码,让这层关系可见。创建函数以后写入 namespace['len'],下一次调用就会看到新的模块全局值;删除这项绑定,调用再次能使用内建的 len。这验证的是运行时名称解析,不是编译器忽略优化。
局部访问也并不等于每次执行都扫描完整字典。CPython 会根据编译得到的局部布局管理对应值。语言规则描述可观察行为,实现可以使用更紧凑的数据结构提高速度。学习时不要把“名称查找”简单想象成所有名称都从某个 Python 字典依次检索,也不要从实现的紧凑存储反推语言拥有静态类型。
最小实验:编译之后还没有函数,执行之后才有
将以下完整代码保存为 docs/python/examples/17_execution.py,从仓库根目录运行。它没有外部输入,也没有执行不可信文本。exec 在这里仅用于观察我们自己构造的代码。
python
"""Inspect source, AST and bytecode without treating bytecode as a stable API."""
import ast
import dis
import sys
def main():
source = "def count(rows):\n return len(rows)\n"
tree = ast.parse(source)
print("implementation:", sys.implementation.name, sys.version.split()[0])
print("AST:", ast.dump(tree, indent=2))
namespace = {}
# Compile does not execute the definition; exec creates the function object.
code = compile(tree, "<lesson>", "exec")
assert "count" not in namespace
exec(code, namespace)
function = namespace["count"]
assert function(["ok", "error"]) == 2
print("bytecode:")
dis.dis(function)
# A global name is resolved when called; it is not frozen in the code object.
namespace["len"] = lambda rows: 999
wrong = function(["ok", "error"])
assert wrong == 999
del namespace["len"]
correct = function(["ok", "error"])
assert correct == 2
print("shadowed:", wrong, "restored:", correct)
if __name__ == "__main__":
main()powershell
python docs/python/examples/17_execution.py运行前按命名空间追四个时点:compile完成,namespace仍无count;exec完成,count函数已连接namespace;namespace加入len后,同一函数同一两行输入返回999;删除该项后恢复内建len,返回2。代码断言逐项核对这条轨迹。AST与反汇编格式随版本、源码位置和显示选项变化,所以检查状态关系,不对整段文本作固定字符串断言。
反例不是调用 exec 本身,而是把业务函数命名为内建函数的名字,再依赖“函数源码没改”推断执行环境也没改。正例是恢复正确名称绑定,工程里进一步使用不会遮蔽内建名称的业务名字,例如 count_rows。若真正希望传入计数策略,应该把策略做成明确参数,让依赖可见,不能靠悄悄修改模块全局状态实现。
ast.parse 让我们看到源码结构,compile 产出模块级代码对象,exec 执行该代码对象,dis.dis 展示函数对应的指令。每一步的断言都检查这一层真正能保证的事实。因此本实验不需要依赖某一条指令偏移量,更不需要用硬编码字节修改解释器程序。
看反汇编时,沿值的流动阅读
把反汇编还原成同一表达式的值流:先取得调用目标len,再取得参数rows,再调用目标,最后交出结果。若结果改变,就比较这些输入关系哪一项变了;本例变化落在全局加载,不在列表长度,也不在返回指令。opcode(操作码)描述执行动作,名字和数量能帮助定位入口,不能单独解释一次动作的业务成本。
CPython 的传统解释执行可以理解为指令驱动的状态推进。每条指令读取执行帧中需要的数据,完成动作,再进入下一位置。某些动作只有很少的本地计算,某些动作会进入对象协议、调用用户函数或调用 C 扩展,代价完全不同。于是“这个函数只有五条字节码,所以一定快”并不成立:一次调用就可能完成文件读取、正则匹配或大量数值计算。
从对象协议看,表面相似的表达式也可能走不同执行路径。a + b 可以是整数加法,也可以进入对象定义的特殊方法;obj.attr 可以返回已存储属性,也可以触发描述符或用户代码。字节码提供入口证据,不能单独给出业务耗时上界。第 10 篇的属性查找模型和第 22 篇的测量方法会把这两层证据接起来。
另外,CPython 3.11 起的自适应解释机制,会在运行中按观察到的对象类型等条件使用专门化路径。inline cache(内联缓存,放在执行点附近的辅助信息)保存优化需要的状态,减少重复判断。dis 的 adaptive、show_caches 等选项可帮助观察,但具体显示和变化规则绑定版本。官方 dis 文档列出了这些演进。
专门化必须维护语言语义。缓存并不授权解释器忽略合法的全局重新绑定;条件不再成立时,需要走适当的检查或退回路径。普通反汇编也未必展示当前所有运行优化细节。因此“看到了通用操作码,所以没有优化”和“看到了专门化,所以永远不会再检查”都是过强结论。
.pyc 为什么不能证明函数结果应该相同
.pyc 通常保存模块编译后的代码,目的是在合适条件下避免重复编译源码。它不是把某次函数调用的所有对象、数据库连接和返回结果拍成快照。导入时仍需要执行模块代码,创建对象并建立运行时状态。
缓存有效性还涉及导入策略、时间戳或哈希校验等条件。不能因为目录里存在 .pyc,就判断这次一定使用它;也不能因为删除它后暂时恢复,就断言根因就是缓存。进程重启同时重建模块状态、重新执行初始化、清空内存缓存,多个变量一起变化,缺少隔离证据。导入系统的缓存说明描述了字节码缓存的失效判断。
线上遇到“源码已经发布,行为没变”,先记录运行进程、解释器路径、模块 __file__、包版本和发布目录,确认请求是否到达预期实例。接着检查常驻进程是否已经加载旧模块,以及导入时初始化的对象有没有更新。必要时再调查缓存,不能从一个文件名推断完整执行状态。
源码选读:带着三个问题进入解释器
源码阅读固定CPython v3.14.0 的 Python/ceval.c,以及同版本编译与指令生成相关目录。首先找代码执行如何进入帧求值过程,其次找帧怎样连接代码对象和执行位置,最后再追一个已在实验中观察到的动作。这样每条源码线索都对应一个可以复现的行为。
需要注意,内部执行帧不总是和 Python 层公开可见的 frame 对象一一立即对应。为了减少分配开销,内部实现可以延迟创建某些供调试和内省使用的对象。因此从 sys._getframe() 观察到的结构,不能推导“每次普通调用一开始都必须分配完全相同的公开对象”。这里的重点是区分逻辑上的调用状态与实际对象物化时机。
也不要把一个内部入口函数当成所有构建的唯一执行器。可选实验性执行机制、平台构建选项及后续版本会影响内部路径。本专栏不通过 dis 的输出宣称 JIT 已启用,也不从版本号推断某个二进制一定带有可选执行器。真正调查部署环境时,要读取构建信息和对应文档,再做执行证据验证。
再往下一层:调用、返回和异常怎样维持执行状态
函数调用并不只是把程序跳到另一段源码。解释器需要建立参数绑定,记录返回后继续的位置,保证中间值的所有权,以及正确传播异常。若参数数量或关键字不符合接口,调用可以在真正进入业务函数体之前失败。这也解释了为什么某个处理器的第一条日志没有出现,不一定说明路由没找到它,还可能是调用边界已经拒绝参数。
在函数内部,表达式产生的临时对象必须被后续操作消费或释放。返回值需要安全地从当前调用交给调用方,不能在清理局部状态时一并销毁。异常则让正常执行路径中断,解释器寻找匹配的处理范围,并按协议执行清理。栈结构、异常处理元数据和引用管理共同维护这些关系,底层不是简单的“逐行执行文本”。
把本次调用状态模型迁移到错误记录:traceback关联失败时的调用位置与公开栈帧,长期保存它就可能继续持有局部对象。大查询正常路径已经结束,结果却仍能从异常记录到达,这时不是编译缓存问题,而是状态的所有者没有结束。内存管理继续沿这条入口分析可达性;两篇共同区分“函数不再执行”与“调用中产生的对象已无人持有”。
调用边界还涉及对象是否可调用。写 target() 时,目标可以是函数、类或者实现调用协议的实例。看见 CALL 一类入口只能说明发生调用动作,不能断定目标就是某个固定函数,也不能排除用户代码或扩展路径。排查时应记录实际目标类型和绑定来源,再解释执行链。
编译优化为什么需要守住可观察行为
编译器可以简化某些确定的表达式、调整内部表示,但必须尊重语言的动态特性。全局名称可重绑定、运算符可由对象协议定义、异常可被捕获,这些都让“把所有看起来不变的东西提前算掉”不成立。理解优化限制,比记住某个小表达式恰好被常量折叠更有迁移价值。
同时,存在常量不代表所有字符串都共享身份,也不代表表达式结果的 is 比较有可移植承诺。对象身份、值相等和编译产物要分开;源码相似的两个实验可能因编译单元和版本不同而显示不同身份关系。业务应使用值比较表达等价,不能从反汇编里的常量列表推导缓存或驻留策略的普遍规则。
如果要定位一个版本升级后变化,保存同一输入、两个完整解释器版本、源码与构建信息,再比较 AST、反汇编和行为。指令变化只说明实现不同;行为是否违反语言规则,需要最小反例与对应规范。性能变化则另做测量,不能看到一条新指令就宣称升级一定更快。
容易踩的坑:把观察工具变成程序协议
第一个坑是依赖某条操作码的字节位置修改 .pyc。当指令、缓存或异常表布局变化时,修改可能产生无效代码,也可能得到表面能跑、语义错误的程序。常规工程应该修改源码或 AST,并让对应版本编译器重新生成执行描述。
第二个坑是拿 ast.parse 的成功当成安全执行保证。语法合法只证明文本能形成语法结构,不证明不会访问文件、调用网络或者占用大量资源。即使仅允许某些表达式,也要处理名称、对象协议和资源限制。示例中的动态执行输入完全受控,不构成不可信代码沙箱方案。
第三个坑是用 assert 做必须生效的业务校验。优化运行选项可以移除断言相关行为。本文的断言用于实验检查;来自网络、文件或用户的非法输入应该通过显式条件和异常处理拒绝,不能把测试便利机制当成永久校验协议。
定位结果变化时,把环境也做成实验输入
把同一函数放进不同模块命名空间,可以测试全局绑定是否影响结果;给函数传入不同类型的对象,可以测试调用协议;保持对象不变而更换解释器,才更接近版本比较。每次只改变一个关系,证据才容易归因。多个变量一起改变,会让“恢复了”与“知道为什么恢复”之间留下缺口。
实验也应保存失败条件。若遮蔽只在某个导入顺序出现,最小复现必须包含那个顺序;若只在一个常驻进程出现,脚本每次新建解释器可能无法重现。短代码的目标是保留关键因果关系,不是简单删到只剩一行。把运行环境当成输入,就能理解为什么源码截图不足以复盘动态程序。
进阶:怎样回答执行原理的面试追问
“Python 是解释型语言,所以不会编译吗?”更准确的回答是:CPython 通常先将源码编译为代码对象,再执行其中的字节码。解释和编译不是互斥标签;必须说明编译产物是什么、由谁执行,以及是否继续生成机器代码,不能凭一个标签替代执行链。
“同一代码对象能否产生不同函数行为?”可以。函数关联的全局环境、闭包值和调用参数会影响结果。本篇遮蔽 len 是最小证据。进一步可以比较工厂函数生成的多个闭包:内部代码结构可以相同,但保存的外层绑定不同。答案应把代码描述和运行环境分开。
“字节码能证明一个操作是线程安全的吗?”不能。即使当前版本某个表达式显示为单条指令,指令执行仍可能触发更复杂行为;指令边界与业务不变量也不是同一层承诺。并发正确性应该依赖明确同步协议和 API 保证,第 19 篇会用受控交错证明这一点。
固定版本证据:把指令还原为本次值流
下面是CPython 3.14.0 Windows 嵌入式解释器的已记录执行节选,省略行号与偏移,不能用来要求其他版本输出一致:
text
RESUME 0
LOAD_GLOBAL 1 (len + NULL)
LOAD_FAST_BORROW 0 (rows)
CALL 1
RETURN_VALUELOAD_GLOBAL 在本函数关联的全局字典和 builtin 中查找 len,同时准备调用协议需要的标记;它没有把首次找到的函数永久封存在代码对象里。LOAD_FAST_BORROW 从局部槽取出 rows,其借用引用形式属于该版本内部所有权优化;不是“对象可以提前销毁”的公开许可。CALL 1 以一个位置实参调用刚找到的对象,成功结果成为返回值,RETURN_VALUE 将结果交给调用者。因此两次输入相同却得到 999 与 2,差异发生在名称解析处,不能归因于列表长度改变。
固定 v3.14.0 的 Python/ceval.c 中,兼容入口 PyEval_EvalFrame 取得当前线程状态,并将 f->f_frame 交给 _PyEval_EvalFrame。默认执行函数又依构建选项进入不同分派路径:普通分支包含生成的 generated_cases.c.h,tail-call interpreter 分支走另一入口。这个短分支解释了为什么只搜索 ceval.c 看不到完整 CALL case,也说明一个文件名并不等于唯一执行模型。此处已阅读该缓存源码,未声称验证所有编译选项。
对照 JVM 类文件与字节码时,应比较“描述如何执行”和“调用时环境如何参与”两层;JVM 指令及验证规则不能移植到 CPython。前置 模块与导入帮助确认函数的全局字典究竟来自哪个模块。
能力任务:把 len 遮蔽改成一个带 __len__ 的输入对象,再预测每次结果。验收要求指出全局查找和对象协议两个不同变量,保留版本、命名空间和实际输出;不允许以反汇编行数解释性能。
一句话总结:源码规定语义,代码对象描述执行,函数与调用环境共同决定本次行为。
- 先分清 AST、代码对象、函数对象和执行帧,再沿层次查问题。
- 字节码是版本相关的实现证据,不能凭指令数量判断性能或并发安全。
- 排查代码未更新时,同时确认运行实例、模块来源与名称绑定。
继续阅读:对象引用与可变性、模块包与导入机制、属性查找与描述符。下一篇:引用计数、GC 与内存分配。