在无事件或上下文丢失的情况下编排小型语言模型 笔记

在无事件或上下文丢失的情况下编排小型语言模型

小型语言模型(SLM)的可靠编排依赖于稳健的事件流与状态管理。所提出的架构采用具有最小本地状态的小型模型实例。Kafka 作为事件骨干,确保高吞吐交付及分区内顺序性。Temporal 作为编排层,负责管理持久化状态并在故障后重放执行。在此设计中,模型调用被视为可重放的副作用。Temporal 的工作流事件历史(Workflow Event History)作为对话进展的权威记录。尽管 Kafka 在其自身事务边界内提供强一致性保证,但与外部系统的交互需要不同的方法。与外部系统交互的正确性依赖于幂等性、去重、序列检查以及对账。全局精确一次语义无法在所有组件间实现。该设计优先考虑持久性与可重放性,以实现稳定的编排。