外观
28 - 单写者模型与消息传递
适用 JDK:模式与核心实现适用于 JDK 8+;文中的
sealed interface和record示例需要 JDK 17+。本文讨论进程内设计模式,不把本地队列等同于持久化消息系统。
摘要
多个请求需要更新同一份状态时,常见做法是让请求线程直接修改状态,再用锁协调访问。还有一种设计:把状态交给一个固定的执行单元,其他线程只提交“希望执行什么”的消息,由它逐条处理。
这就是单写者模型。本文用一个所有者线程和一个消息队列说明它:只有所有者访问可变状态,调用方通过消息请求修改或查询。这样可以避免同一状态被并发修改,但排队、超时、故障恢复和关闭仍需要明确的协议。
1. 从共享修改改成所有权转移
这里的所有权是访问职责的约定:某份可变状态由谁负责读取和修改。它不是把状态对象交给每个请求轮流使用,而是让请求把操作交给所有者执行。
以按 id 保存数值的状态为例,调用方不直接修改其中的数值,而是提交增加或减少数值的命令。命令描述要执行的操作;邮箱是等待所有者处理这些命令的队列。一次操作经历以下过程:
- 调用方构造命令,并按提交策略尝试放入邮箱。
- 所有者线程取出命令,读取当前状态并执行变更。
- 若调用方需要结果,所有者通过约定的响应通道返回结果。
下面是 JDK 17+ 的局部示例。sealed interface 限定允许实现该接口的类型;record 用于声明数据载体。此处的 Add、Remove 和 Stop 分别表达增加、减少和停止处理:
java
sealed interface Command permits Add, Remove, Stop {}
record Add(String id, long amount) implements Command {}
record Remove(String id, long amount) implements Command {}
record Stop() implements Command {}
BlockingQueue<Command> mailbox = new ArrayBlockingQueue<>(10_000);BlockingQueue 是支持阻塞式等待的队列,示例中的 ArrayBlockingQueue 最多容纳 10,000 条命令。这是示例容量,不是推荐值或测量结果。队列满时,提交方应按策略等待、超时或拒绝,不能让调用方绕过所有者直接修改状态。
状态只由下面的消费循环修改:
java
while (!Thread.currentThread().isInterrupted()) {
Command command = mailbox.take();
if (command instanceof Stop) break;
apply(command); // 只在所有者线程访问可变状态
}take() 在邮箱为空时等待;取到 Stop 后,循环退出。apply(command) 代表应用自己的状态变更逻辑。片段省略了导入、状态定义、提交入口和 InterruptedException 处理,后文还会讨论失败与关闭,因此它不是完整的可运行实现。
这里的安全来自可变状态只由所有者线程访问,而不是 Map 或字段本身变成线程安全。其他线程若直接读取正在修改的对象,仍然越过了这条边界;查询也应交给所有者,或读取安全发布的不可变快照。
命令中的业务数据应不可变,提交后生产者不再修改其内部数据。record 不会自动把其引用的对象变成不可变对象;若命令包含集合等可变数据,仍需在提交前复制或限制访问。JDK 8 可用普通接口和不可变类表达相同模式,语法差异不改变上述所有权约定。
2. 顺序保证的边界
FIFO(先进先出)邮箱按成功入队的顺序取出命令。在只有一个消费者、逐条完成状态变更的前提下,这个顺序也决定了状态变更的处理顺序。
但“先发起调用”不一定等于“先入队”:多个生产者可能同时提交,线程调度会影响哪条命令先进入队列。因此,单个 FIFO 邮箱不能自动提供:
- 多个生产者调用在真实时间上的全局业务顺序;
- 进程崩溃后的消息恢复;
- 外部数据库与内存状态的原子提交,即两者要么一起成功、要么一起失败;
- 消息只处理一次;
- 跨多个所有者状态的事务。
邮箱只解决本进程中的排队问题,不能替代持久化或事务协议。例如,调用方未收到响应而重试,可能提交两条内容相同的命令;单写者会依次处理它们,却不会自动识别它们属于同一次业务操作。
如果业务依赖版本顺序,应在命令中携带实体版本或序列号,并定义重复、乱序和缺口处理:重复命令是否忽略,旧版本是否拒绝,缺少前一版本时是等待还是失败。串行执行只是落实这些规则的基础,并不会替业务决定规则。
3. 返回结果与取消
提交成功只表示命令进入邮箱,不表示操作已经完成。需要结果时,可以在命令中附带响应通道,让调用方等待所有者处理后的结果。下面展示查询命令的结构:
java
record Query(String id, CompletableFuture<State> reply) implements Command {}这是扩展片段,State 由应用定义;若与第 1 节组合,还需把 Query 加入 Command 的 permits 列表并实现相应处理逻辑。CompletableFuture 是可由处理方完成的结果句柄:调用方等待 reply,所有者向其中写入结果或异常。
返回的 State 也不能暴露所有者正在修改的对象,应使用不可变结果或快照。这里的 reply 本身是可变的协作对象,因此“命令数据不可变”是指业务载荷不被生产者继续修改,并不表示响应句柄没有状态变化。
调用方等待 Future 超时,不代表命令已从邮箱删除。命令可能仍在排队,也可能已经开始执行。所有者处理前应检查 **Deadline(截止时间)**或取消状态,并按协议完成过期请求的响应。已经开始的外部副作用,例如数据库写入,仍需幂等和补偿:幂等用于避免重试重复产生业务效果,补偿用于通过后续操作处理已发生的效果,二者都不是简单取消 Future 就能完成的。
所有者线程不能同步等待一个必须由自己继续处理命令才能完成的 Future。否则,它停在等待处,后续命令无法执行,而等待的结果又依赖后续命令,形成逻辑死锁。
每条需要响应的命令都必须有明确的终态,并完成 reply:成功调用 complete,业务失败调用 completeExceptionally,关闭时则按协议拒绝尚未处理的请求并完成其响应。遗漏异常或关闭分支,会让未设置等待超时的调用方一直等待。
3.1 所有者失败不能静默退出
如果 apply(command) 抛出未捕获异常,消费循环可能直接结束。若提交入口仍保持开放,邮箱会继续接收命令,却再也没有消费者。因此,监督策略需要规定如何发现所有者失败,以及失败后是否继续服务:
- 单条命令失败且状态仍可用时,记录失败、完成响应并继续;
- 状态可能损坏时,停止接收并让相关请求整体失败;
- 需要重启时,从持久状态恢复后再启动所有者;
- 将反复触发失败的“毒性消息”隔离,避免每次重启都处理同一条消息并再次失败。
不能统一捕获所有 Throwable 后盲目继续。Error、状态部分更新和外部副作用都需要单独评估:捕获了异常,不代表状态已经回到执行前,也不代表外部写入没有发生。
4. 容量和热点
一个所有者一次只处理一条命令。如果命令到达速度长期超过处理速度,邮箱就会积压。单写者吞吐受单个消费循环和慢外部调用限制,邮箱容量则限制能够暂存多少积压;增大队列不能提高处理速度。
单写者减少了业务状态上的写入竞争,但不代表整个实现没有锁,更不代表容量无限。设计时需要考虑:
- 邮箱必须有界,并定义满载时的等待、超时或拒绝策略,避免积压无限占用内存。
- 记录最旧消息年龄,即队列中等待最久的命令已经等待多久;队列长度相同,等待时间也可能相差很大。
- 慢 I/O(输入输出)尽量移出状态变更循环,否则一次外部调用会阻塞后续所有命令。移出后仍需定义结果如何回到所有者,以及等待期间后续命令能否推进,不能由 I/O 线程直接修改所有者状态。
- 按互不相关的 Key 分片。Key 是业务实体标识,例如账户 ID;分片是把不同实体分配给多个所有者,各自串行处理。
- 跨分片操作需要新的协调协议。操作涉及两个所有者时,不能再依赖一个线程完成所有状态变更,也不能假定仍具备单线程内的原子性。
热点是指某个实体或分片收到远多于其他分片的工作。增加所有者可以分散互不相关的实体,却不能直接拆开必须串行处理的同一实体。分片方法见 29 - 按 Key 串行化与分段并发。
5. 快照与恢复
纯内存单写者在进程退出时会丢失状态和未持久化的邮箱内容。需要恢复时,应使用事件日志、数据库状态或周期快照:事件日志记录用于恢复的变更,快照保存某一时刻的状态副本。
关键是明确日志落盘与对外确认的先后关系。若先向调用方确认成功,随后还未持久化就崩溃,恢复时可能找不到已确认的变更;若已经持久化却来不及返回响应,调用方重试又可能带来重复。因此,恢复设计仍需结合第 2 节的重复处理规则,不能只增加一个日志文件就认为可靠性问题已经解决。
用于并发读取的快照也必须遵守所有权边界。不能把所有者仍在修改的同一可变对象交给其他线程遍历,否则读取方可能看到变更过程中的状态。可由所有者线程生成不可变副本,再安全发布给读取方;安全发布指通过适当的线程间通信机制,让读取方可见已经构造好的副本。需要持久化时,还应明确快照对应的日志位置和恢复起点。
6. 关闭状态机
第 1 节的 Stop 只能让消费者在取到它时退出。如果生产者仍能提交,Stop 后面可能还有新命令,消费者退出后这些命令就无人处理。因此,安全关闭通常需要显式状态,而不只是向队列塞一个 Stop:
text
RUNNING → STOPPING(拒绝新命令)→ DRAINING(处理或持久化剩余命令)→ TERMINATED状态机把生命周期分成阶段,并规定每个阶段允许哪些动作。这里先停止接收,再排空已经接收的命令,最后确认所有者终止;排空可以是处理剩余命令,也可以按恢复协议将它们持久化。
状态切换与提交动作必须协调。例如,生产者检查时仍是 RUNNING,随后关闭线程切到 STOPPING,生产者却继续入队,就会出现“已确认停止接收后仍成功提交”的窗口。提交入口必须把状态检查和接收命令纳入同一协调协议。
关闭也需要 Deadline。达到截止时间后,要定义未处理命令如何完成 reply,以及是否允许下一实例重放这些命令。收到 Stop、发出中断或进入 STOPPING,都不能单独证明剩余请求已完成收尾。
7. 排障与验证
排查时先确认所有者是否仍在推进,再区分处理过慢、队列积压和生命周期失效。以下是观测与故障注入的检查目标,本文未执行这些测试:
- 监控邮箱长度、最旧消息年龄、处理耗时和拒绝数,结合判断到达速度是否超过处理能力。
- 记录所有者线程是否被 I/O、锁或日志阻塞,定位后续命令不能推进的原因。
- 注入重复、乱序、超时和进程重启,检查业务顺序、响应和恢复是否符合协议。
- 验证分片后同 Key 始终路由到同一所有者,避免同一状态被两个线程并发修改。
- 检查关闭时是否先停止生产,再排空或持久化剩余命令,并明确完成所有待响应请求。
- 注入所有者线程异常,确认邮箱不会处于“仍接受但无人消费”的假运行状态。
8. 总结
单写者模型用明确所有权替代共享写入,降低同步推理难度,但没有消除容量和可靠性问题。 设计时先守住状态访问边界,再为消息从提交到完成的全过程定义协议。
- 可变状态只能由所有者执行单元访问,读取方通过查询或不可变快照获取结果。
- 消息的业务载荷必须不可变,邮箱必须有界,并明确满载时如何处理。
- 分片、结果返回和崩溃恢复需要额外协议,超时与关闭也必须有明确的收尾路径。