外观
13 - 接口重复执行不是偶然:幂等性如何从协议落到数据层
摘要
支付按钮只点一次,服务端仍可能收到两次请求:客户端超时后重试、代理重发,以及消息重复投递,都可能让同一操作再次执行。防止重复扣款,需要先识别哪些请求代表同一次支付,再在数据写入时保证它只产生一次业务效果。本文从这个基本模型讲起,解释幂等键、唯一约束、事务和状态机各自解决什么问题。
1. 场景:第一次成功,响应丢了
支付服务已创建扣款记录,但响应返回途中连接断开。客户端没有收到结果,于是重试同一请求。如果服务端每次都创建新扣款,就会重复收费。
问题在于,客户端看到的是“结果未知”,而不是“扣款失败”。只限制按钮点击次数无法解决响应丢失后的重试,也无法阻止代理或消息系统再次交付同一操作。
幂等是指同一业务意图执行多次,与执行一次产生等价的业务效果。 这里的业务意图,是用户想完成的那一次操作,例如“为某笔订单支付一次”。它不要求代码只运行一次,也不要求每次响应的时间、日志或所有字段完全相同;关键是不能重复产生扣款等业务效果。
服务端通常用幂等键(idempotency key)识别同一次操作。客户端在首次请求前确定这个标识,后续重试复用它;用户发起另一笔独立支付时,则使用另一个标识。不能只按金额去重,因为两笔金额相同的支付可能都是合法操作。
这个模型包含三件事:用稳定的键识别业务意图,用原子操作约束业务写入,再让重复请求取得这次操作的状态或结果。原子操作指一个不可被并发操作拆开的整体,其他请求不能趁检查与写入之间的空隙绕过去。
2. 交付语义
交付语义描述系统对请求或消息交付、处理次数的承诺。讨论时必须明确边界:消息交付给消费者,不等于消费者已经完成扣款。
- At-most-once(至多一次):在约定边界内最多交付或处理一次,但可能丢失,因此不能保证业务一定完成。
- At-least-once(至少一次):在满足重试和恢复等条件时保证交付或处理,但可能重复,接收方需要处理重复操作。
- Exactly-once(恰好一次):常指在特定边界内,通过去重和事务使结果等价于处理一次,不代表端到端的代码或物理动作只执行一次。
响应丢失时,网络不能让调用方仅凭超时确定“对方没执行”。因此,工程上常采用 At-least-once 配合幂等处理:允许再次尝试,但约束重复尝试的业务效果。这个组合仍依赖恢复、重试窗口和数据层实现,不能把它理解为任何故障下都必然成功。
3. 反例:先查询再插入
下面是 Java 逻辑片段,展示一个存在并发漏洞的做法:
java
if (!repository.exists(idempotencyKey)) {
repository.insertPayment(idempotencyKey, amount);
}假设请求 A 和 B 使用同一个幂等键:A 查询时记录不存在,B 也在 A 插入前查到不存在;随后两者都执行插入。单独看,每次查询都没有错,但“查询后再插入”整体并不是原子操作。
因此,查询可以帮助读取结果,却不能独自保证防重。最终写入必须由原子操作或数据库唯一约束兜底。唯一约束是数据库对某个字段或字段组合施加的限制,使两条记录不能同时拥有相同的受约束值。
4. 正例:唯一约束与同事务结果
下面的 SQL 展示幂等记录的表结构,具体建表语法和类型需按所用数据库确认:
sql
CREATE TABLE payment_request (
idempotency_key VARCHAR(64) PRIMARY KEY,
request_hash VARCHAR(64) NOT NULL,
status VARCHAR(20) NOT NULL,
result_json TEXT
);idempotency_key 是主键,同时约束键的唯一性。request_hash 保存请求参数摘要,用于检查同一个键是否被用于不同请求;摘要应基于约定一致的参数表示,并包含金额等影响业务结果的字段。status 保存处理状态,result_json 保存可供重复请求读取的结果。此表按键本身约束唯一性,键的生成和作用范围也必须与这个约束一致。
仅有唯一约束还不够。如果先提交幂等记录,随后业务写入失败,重试可能被误认为已经处理;如果业务已提交而幂等记录未保存,重试又可能重复写入。因此,幂等记录、业务写入和最终结果需要处于同一个原子边界。
对于能由同一数据库事务覆盖的写入,处理流程是:
- 客户端为同一业务意图复用相同幂等键。
- 服务端在事务内尝试插入键,由唯一约束裁决并发竞争。
- 获得处理资格的请求执行业务,保存最终状态和结果,并一起提交;事务回滚时,这些写入一起撤销。
- 重复请求读取已提交的记录,校验参数摘要相同,再返回已保存结果。
- 相同键对应不同参数时拒绝请求,避免把另一笔操作的结果返回给调用方。
下面的 Java 代码是结构示例,省略了依赖和具体实现:
java
public PaymentResult create(PaymentCommand command) {
try {
return transaction.execute(() -> {
requestRepository.insert(command.key(), command.hash());
PaymentResult result = paymentRepository.charge(command);
requestRepository.complete(command.key(), result);
return result;
});
} catch (DuplicateKeyException duplicate) {
return requestRepository.loadAndValidate(
command.key(), command.hash());
}
}该示例要求 charge 表示可参与此事务的业务写入,complete 保存成功状态和结果。transaction、异常类型和并发等待需按实际框架实现。捕获异常后还要确认冲突来自幂等键约束,不能把其他唯一约束冲突都当作重复请求。
重复请求与首次请求并发时,数据库可能让它等待首次事务结束;等待、异常和后续读取的行为取决于数据库及事务隔离配置。loadAndValidate 必须能读取对应的已提交状态、校验摘要,并处理尚无最终结果的情况,不能只凭一次重复键异常就认定扣款成功。
在首次事务成功提交后,同键、同参数重试的预期结果是返回保存的支付结果,不再产生新的业务扣款;同键、不同参数的预期结果是拒绝请求。
如果 charge 实际调用外部支付平台,本地数据库事务不能把远端扣款一起回滚。此时还需要外部平台的幂等能力、结果查询或对账机制,不能直接套用上述“同事务提交”的保证。
5. 状态机比布尔去重更可靠
布尔去重只记录“处理过”或“未处理过”,无法回答操作是否仍在进行、已经成功,或失败后能否重试。状态机则明确列出可处于哪些状态,以及允许如何转换。
需要持久记录处理进度的流程,可至少区分以下状态:
text
PROCESSING → SUCCEEDED
↘ FAILED_RETRYABLE
↘ FAILED_FINALPROCESSING 表示处理中,SUCCEEDED 表示成功;FAILED_RETRYABLE 表示按业务规则允许重试的失败,FAILED_FINAL 表示不再重试的失败。重复请求应根据状态取得结果或后续动作:成功时返回结果,处理中时等待或通过查询接口取得进度,失败时按约定返回错误或安排重试。重试仍复用原幂等键,重新处理的资格也需要通过原子状态转换取得。
这比上一节的单事务示例更进一步:单事务中尚未提交的处理中记录,不一定能被其他请求读取。如果要让客户端查询处理中状态,必须明确进度记录何时提交,以及后续业务写入如何与状态转换保持一致,不能简单地把进度记录提前提交就认为问题已经解决。
还要定义 PROCESSING 超时后的接管规则,避免首个工作线程崩溃后永久卡住。超时只能说明进度没有及时更新,不能证明旧线程已经停止,也不能证明外部扣款失败。接管需要防止新旧执行者同时产生业务效果;对于结果未知的外部操作,应先通过查询或对账确认结果,再决定是否继续。
6. 幂等记录保存多久
保存时间必须覆盖请求可能被重试或消息可能被回放的最长窗口。回放是指再次处理历史消息,可能发生在故障恢复或人工补处理时,因此不能只按客户端平时的重试间隔设定期限。
过早删除记录,会让旧重复请求看起来像首次请求,从而重新执行业务;永久保存又会增加存储成本。TTL(Time to Live,存活时间)是记录或缓存到期失效的期限,它决定去重保护能持续多久,而不是保证业务永远唯一。
支付、记账等业务可能需要使用业务主键永久保证唯一,例如用代表某次合法扣款的业务编号约束最终记录。短 TTL 缓存可以辅助快速判断,但不能独自承担这种长期唯一性要求。
7. 容易踩的坑
- 每次重试生成新键。 服务端无法再识别它们属于同一次操作。
- 键只在 Redis 保存几分钟,却承担永久扣款唯一性。 缓存过期后,历史请求可能再次产生扣款。
- 幂等记录提交成功,业务事务却回滚。 两者不在同一原子边界,记录与实际结果可能不一致。
- 相同键的不同参数被当成同一请求。 应校验参数摘要,拒绝键的错误复用。
- 返回“处理中”后没有查询接口。 客户端无法取得最终结果,也无法判断后续应等待还是重试。
- 认为 GET 天然幂等,却在其中修改业务状态。 HTTP 方法的语义不能替代具体实现的约束;访问日志、审计记录等附带行为,与重复访问造成扣款、库存扣减等业务效果应区别看待。
8. 总结
幂等的核心是为一次业务意图建立稳定身份,并在最终写入层原子地约束它。
重试复用幂等键,唯一约束或条件更新裁决并发,事务保证幂等记录与业务结果一致。需要跨阶段处理时,再用状态机区分进度和失败类型,并定义安全的接管规则。记录的保存期限应覆盖完整重试、回放窗口;外部副作用则必须结合外部系统的幂等与结果查询能力处理。
下一篇:限流不是简单拒绝请求:Token Bucket、Leaky Bucket 与滑动窗口。