外观
综合验收:独立交付并用证据排查一个 Python 后端服务
摘要
读懂参考实现还不足以证明能够维护服务。本篇面向已有研发经验的 Python 学习者,规定独立需求、自动化契约、未知故障与交付证据;先完成任务和冻结提交,再查看分开的变体与参考解答。
场景:所有示例都跑通了,换一个需求却无从下手
这是教学场景。学习者逐篇运行代码,能解释 GIL、事务与取消;但把需求改成多租户导入、重复重试和有限队列以后,却把这些机制拼成一个无界后台服务。面试题回答正确并不能抵消重复写入与越权。综合验收的目标不是再堆一个复杂框架,而是让读者独立建立契约、选择实现、提交证据并解释失败边界。 可进一步阅读Linux服务器诊断命令与证据边界:诊断先确认实例窗口和指标边界。
本系列面向已有研发基础、Python 零基础的工程师,补齐 Python 后端知识与独立工程能力。通过这份验收可以形成岗位迁移的学习证据,不代表自动获得任何公司的高级职级。生产责任、长期维护和团队影响还需要实际工作验证。本文不把完成阅读、代码行数或测试数量作为能力认证,也不同时承诺机器学习与数据科学方向。
先冻结任务,再提供参考
综合题沿用“日志导入与查询服务”:接收有界日志批次,保存并查询状态聚合;支持可信租户身份、幂等导入、有限后台处理、观测和发布恢复。可以复用第25~35篇提供的基础项目,但不得把未知需求的答案直接复制成最终提交。独立任务从业务契约开始,先写预期输入、错误和副作用,再决定类、框架和数据库层。
每份验收结论都带两个坐标:代码承担了哪一条规则,证据实际走过多大的边界。内存Repository证明输入、授权与重复规则,数据库再证明持久并发,真实HTTP再证明解析和生命周期,产物与目标平台再证明交付。后一层新增状态,就不能只把前一层测试数量乘多来替代。
因此先约定版本、机器、数据与预算,再冻结提交摘要,写下关键预测,最后给隐藏输入和故障。提交源码、产物、环境身份、测试、设计、容量与复盘,是为了让这些坐标可核对。单人也可先保存预测、隔天跑变体;看到提示后修复的结果应单独标记,不能用硬编码适配答案冒充独立迁移。
本篇的最小契约驱动只用标准库,便于从框架和数据库中分离核心规则。它不是完整真实服务验收。框架生命周期、实际数据库隔离、Linux 发布与完整容量验证仍需运行演进项目对应关卡;没有目标环境时标记待验证,不能用本地内存 Repository 通过替代生产交付。前置 类型与测试帮助区分工具检查、运行时边界和实际副作用。
关卡一:不用参考实现,完成陌生契约
编写一个 trusted local Python 文件,定义 Repository() 与 handle(request)。request 只能包含 actor、owner、event_id、message 四个字段,每项都必须是长度 1~64 的字符串;actor 是测试驱动提供的可信身份替身,真实 HTTP 服务不能相信用户自己填写它。actor 与 owner 不同返回 403;输入非法返回 400,拒绝之后状态不变。校验与授权的优先级按此任务定义,不能随实现随机变化。
先预测一条记录的状态轨迹,不急着选择框架。标识是(owner,event_id),已有状态从未见到该标识开始:
| 仅改变的一步 | 返回 | 该租户计数 |
|---|---|---|
| 首次合法message | 201并保存内容 | 1 |
| 同标识、同message重试 | 200并返回已有结果 | 仍1 |
| 同标识、不同合法message | 409冲突 | 仍1 |
| 只把actor改为其他主体 | 403拒绝 | 仍1 |
| 其他租户用自己的身份与同event_id | 该租户201 | 另一本租户账为1 |
非法输入先返回400,这是任务定义的优先级。八次并发重复仍只有一次201,其余同内容重试,计数一直为一。轨迹固定语义,不固定谁先取得锁;先实现这些状态关系,再由驱动改变ID、主体和输入边界检验能否迁移。
这里选择内存模型是为了检查不变量,不宣称进程重启后持久。真实服务要在数据库中把唯一约束和事务落实,不能用单进程 Lock 证明多个 worker 跨进程幂等。已提交但响应丢失时,重试应查询既有操作身份;仅将响应超时捕获并重新插入,不满足安全重试。相关机制前置 数据库事务与 短事务超时修复。
实战:用独立驱动验证规则,而不是只检查一条成功请求
36_acceptance.py加载你提供的可信本地模块,执行合法创建、同内容重复、不同内容冲突、越权、超长、错误类型、未知字段、失败后状态复查、租户隔离与并发重复。模块导入会执行顶层代码,因此只能加载自己的受信提交,不是执行不可信代码的沙箱。驱动使用断言做测试判定,必须以普通模式运行,不能使用 python -O 移除检查。
这里的加载边界可直接核对 Python3.14 importlib 的 exec_module:该API执行模块自己的命名空间代码,不是只读取类定义或检查语法。驱动先用 module_from_spec 创建模块并注册模块身份,再调用 exec_module;即使还未创建 Repository,候选文件中的顶层文件、网络或进程操作也可能执行。因此验收人只能运行可信本地提交,不把这个驱动作为隔离恶意代码的工具。
powershell
# candidate.py 是你独立实现的文件路径。
python docs/python/examples/36_acceptance.py candidate.py --seed 20261029python
"""Independent challenge driver. Candidate API: Repository.handle(request)->dict."""
import argparse
import importlib.util
from pathlib import Path
import random
import sys
from concurrent.futures import ThreadPoolExecutor
def evaluate(repository, seed):
rng = random.Random(seed)
owner = f"tenant-{rng.randrange(1000, 9999)}"
stranger = owner + "-other"
identifier = f"event-{rng.randrange(1000, 9999)}"
request = {"actor": owner, "owner": owner, "event_id": identifier, "message": "ok"}
assert repository.handle(request) == {"status": 201, "count": 1}
assert repository.handle(dict(request)) == {"status": 200, "count": 1}
# Same ID different content cannot be silently treated as successful duplicate.
assert repository.handle({**request, "message": "different"})["status"] == 409
assert repository.handle({**request, "actor": stranger})["status"] == 403
assert repository.handle({**request, "message": "x"*65})["status"] == 400
assert repository.handle({**request, "message": True})["status"] == 400
assert repository.handle({**request, "extra": "unknown"})["status"] == 400
# Failed requests must not change stored state.
assert repository.handle(request) == {"status": 200, "count": 1}
other = {**request, "actor": stranger, "owner": stranger}
assert repository.handle(other) == {"status": 201, "count": 1}
concurrent = {**request, "owner": "concurrent", "actor": "concurrent"}
with ThreadPoolExecutor(max_workers=4) as pool:
results = list(pool.map(repository.handle, [dict(concurrent) for _ in range(8)]))
assert sum(row["status"] == 201 for row in results) == 1
assert all(row["count"] == 1 for row in results)
return "contract passed"
def main():
parser = argparse.ArgumentParser()
parser.add_argument("candidate", type=Path)
parser.add_argument("--seed", type=int, default=20261029)
parser.add_argument("--hidden", action="store_true")
arguments = parser.parse_args()
# Load only your trusted local submission. Import executes module-level code.
spec = importlib.util.spec_from_file_location("candidate", arguments.candidate)
module = importlib.util.module_from_spec(spec)
sys.modules[spec.name] = module # Support decorators that inspect their owning module.
spec.loader.exec_module(module)
print(evaluate(module.Repository(), arguments.seed))
if arguments.hidden:
hidden_spec = importlib.util.spec_from_file_location(
"hidden", Path(__file__).with_name("36_hidden_variants.py"))
hidden = importlib.util.module_from_spec(hidden_spec)
hidden_spec.loader.exec_module(hidden)
print(hidden.evaluate(module.Repository(), arguments.seed))
if __name__ == "__main__":
main()输出 contract passed 表示这一组核心边界检查通过,不表示完整服务已经达标。驱动改换 seed 会变更主体与 ID;它的规则公开,属于已知契约检查。真正的隐藏输入放在独立 36_hidden_variants.py 文件,由验收人暂不提供,冻结实现后才交付并用 --hidden 运行。若已读过该文件,应将结果标为提示后验证,不再包装成未知测试。
反例是只实现固定 tenant 与固定 ID,使默认输出成功;正例是按规则建立状态机并对未知主体同样成立。另一个反例是对所有重复 ID 返回 200,却忘记比较内容;看起来消除了重复行,实际上接受了冲突请求。幂等性描述操作与身份的关系,不能简单等同于“捕获唯一键错误就忽略”。验收人通过替换 ID、内容长度和租户来检验规则,而不是只增大同一条样例重复次数。
关卡二:真实服务的状态与副作用
核心 Repository 通过后,把规则接到实际 API、身份组件与数据库。HTTP 层负责解码和错误契约,业务层负责不变量,存储层负责跨请求持久性与并发原子性。静态类型检查帮助发现接口不匹配,不能证明数据库提交原子;mock 可以让业务测试稳定,不能代替真实连接池、驱动或隔离语义。每项证据都要写清所覆盖边界,避免以单元测试通过推导完整服务安全。
必须测试“提交成功但响应丢失”:让服务完成数据库提交后在发送响应前注入受控失败,用同一操作身份再次提交,确认没有第二次副作用;不同内容必须拒绝。记录 request_id、operation_id 和实际数据库行数。失败注入只作用于临时测试环境,明确发生阶段,不随机断开生产连接。若使用 SQLite 完成练习,不能据此宣称 PostgreSQL 的连接池、锁和隔离行为已验证。
后台任务有容量和所有者。持续慢消费时提交不能无限创建 Task 或 Future;消费者失败后异常到达入口或监控,任务要有失败状态与重试边界;停止时先关闭接入,再在预算内排空或明确失败,最后关闭连接。验收既检查功能又检查 Task、线程和连接是否遗留。事件循环与取消解释取消句柄为何不等于底层副作用停止,资源退出不能靠日志里打印一句 stopped 证明。
关卡三:未知故障分诊,而不是照提示修代码
验收人准备一个受控故障,不告诉根因。候选故障可以是重复扫描、持锁跨外部等待、无界保留、任务异常被遗忘或错误环境导入。每轮只注入一个机制,保证能安全退出;混合故障要在基础关卡通过后再增加。读者先提交实例身份、窗口、症状与候选表,给每个候选写一个支持证据和一个可以推翻它的结果,然后选择最少必要采集。
图表将在阅读到此处时加载…
CPU 高先看固定工作量与进程 CPU 增量,不能马上调线程数;等待要找等待者、资源和持有者,不能用一张栈截图宣布死锁;内存增长要区分追踪分配、根引用、分配器和 RSS,不能先加 gc.collect。具体受控实例在 线上分诊与证据,跨层窗口方法见 OS 长尾故障定位。关联的是采证逻辑,而非默认 Python 调用栈能显示所有内核等待。
通过要求不是猜中一个故障名称,而是证据能区分至少两个候选,修复前提真实成立,修复后同输入结果正确且资源关闭。如果只重启使问题暂时消失,应记录为临时止损并解释尚未确定的根因,不能写成完整修复。演示解除 Event 能证明持有者因果,但长期修复应缩短资源作用域;第24篇的结构性正例正是这种区别。
关卡四:交付、容量与安全必须同时成立
在新环境从产物安装,在源码树外启动实际入口;保存解释器、依赖和模块来源。运行探针、业务调用、优雅停止和兼容回滚。数据库迁移后的旧版本不兼容时,自动回退必须被阻止,并提交恢复方案。Linux 操作没有实机输出的关卡仍是待验证;构建发布与回滚里的模板只是准备材料,不是已经运行的部署证据。
容量先由读者声明目标机器、数据、固定到达率与预算,再报告成功分位、错误、客户端舍弃和资源窗口,完成至少三档负载与同条件修复复测。测试结果不能事后挑一条最好的曲线,不将轮平均当单请求 p99,不隐藏超时。容量预算来自业务条件,不统一要求所有机器同一 QPS,详细口径见 性能预算与容量。
安全验收覆盖同租户无权限、跨租户对象、缓存污染、未知字段、超大字节和日志脱敏;拒绝后数据库、缓存和后台任务不能留下未经授权的副作用。认证验签、真实网络出口和文件竞争边界按选定技术核验,不把本地 Principal 当成登录安全证明。对应 授权与输入边界的负例要接到实际服务,而不只是运行独立示意。
容易踩的坑:测试很绿,证据却没覆盖承诺
用同一个重复导入问题比较三层证据。内存实现的Lock串起检查与写入,八次投递检验当前线程路径;换成多worker数据库,锁不再共享,必须用真实唯一约束、事务和并发请求证明同一效果;再注入提交后丢响应,恢复要查询持久操作身份,内存断言不能回答重启后的状态。
规则仍是同键同内容不重复,但每层新增了不同的失败窗口。一次并发绿色结果不能代替同步协议,窄边界通过不能扩大结论;故意移除授权或忽略冲突要让驱动非零失败。若只吞异常并打印信息,退出零也不表示通过。
另一个坑是把参考实现作为候选运行后说“独立通过”。这可以验证驱动和答案之间一致,不能证明学习者迁移能力。建议在参考阅读前保留需求解释、预测和初次失败记录;之后修复则注明提示来源。自动化关卡必须被已知坏变体触发,例如关闭授权检查或忽略内容冲突后确实失败,避免写出与实现完全同形、只能自证的测试。
交付清单与评审方式
验收结果应如何写进个人学习记录
将每个关卡标记为独立通过、提示后通过、未通过或待环境验证,并附最短证据位置。比如核心输入与幂等规则独立通过,真实数据库的并发测试待环境验证,未知锁等待在查看提示后才修复,就分别保留这些状态。不能只写“36篇完成”抹掉差异。学习记录的价值在于指出下一步具体训练,而不是制造一个没有证据的高级能力标签。
失败后先检查任务是否理解错误,再检查实现和证据。若计数不符,保存最早导致分歧的请求序列;若线程不退出,保存所有权与等待关系;若发布回滚失败,记录已经发生的迁移与接入状态。修复后重跑触发失败的变体和必要回归,不为了堆次数反复运行不相关示例。将一次失败转成更清楚的契约和可复现反例,比删除失败日志更能支持长期维护能力。
最后只改变一个需求,重新沿规则与证据两个坐标推演:新增存储实现保留分页语义,却新增持久恢复;提高worker数保留API,却改变全局队列与锁的作用域;新增导出入口保留租户规则,却增加后台授权时点。先预测哪个旧结论还能用、哪个新增状态尚未证明,再交补充测试与ADR。
同伴评审据此检查方案与条件是否匹配、代价是否清楚、失败是否可恢复,而非要求唯一架构。能保留已证明的简单部分,同时指出何时必须扩大协议和实验,才说明原理转成了独立判断。
| 关卡 | 必须交的证据 | 不能替代它的材料 |
|---|---|---|
| 核心规则 | 独立提交、公开与隐藏契约、失败变体 | 阅读笔记、参考答案输出 |
| 服务一致性 | 真实 API/数据库、丢响应重试、并发副作用 | 内存 Lock、mock 全绿 |
| 未知排障 | 候选反证、同窗口证据、结构修复和复测 | 猜根因、重启后截图 |
| 可交付 | 干净安装、运行身份、退出与兼容回滚 | 源码目录运行成功 |
| 容量安全 | 预先预算、原始样本、拒绝零副作用 | 单次平均、正例权限测试 |
核心关卡全部通过才能声明完成,不用面试题高分抵消越权、数据重复、无界任务或无法恢复。评审再要求一个小需求变更:新增状态类型、调整分页或加入一个新的存储实现,读者写 ADR 说明依赖方向、兼容性、替代实现及维护代价。高级工程能力包含选择不做过度抽象,底层机制解释应服务实际约束,而不是展示术语数量。
参考解答与验收人资料独立放在 参考实现和 隐藏变体,建议任务完成后再打开。参考内存实现用 Lock 保护检查与写入整体,不提供持久化,也不处理完整认证;它是核心规则的一种答案,不是生产架构。实际综合项目还应补对应数据库、框架、发布和故障记录,所有未完成部分保留明确状态。
Lock 的上下文管理协议见 Python3.14 threading:进入作用域取得锁,离开时释放。参考答案保护的是“检查已有内容、判定冲突、写入、读取计数”的完整业务关系,不是依赖某一条字节码的原子性。线程池八次投递是回归输入,正确性仍由这个同步协议承担;它也不能替代多进程数据库的唯一约束和事务。
一句话总结:独立能力要由陌生需求、未知故障和可恢复交付的证据证明,而不是由示例运行数量证明。
- 先冻结提交再运行隐藏变体,区分独立完成与看提示后通过。
- 每份测试只支撑自己的边界,内存契约不能代替真实服务验收。
- 功能、授权、资源、容量和回滚都是必过关卡,不能相互抵消。
来源:Python3.14 importlib、Python3.14 threading。本文只核验可信模块加载和线程锁协议,不提供恶意代码沙箱或跨进程事务保证。