小規模言語モデルの信頼性の高いオーケストレーションは、堅牢なイベントフローとステート管理にかかっています。提案されたアーキテクチャは、最小限のローカルステートを持つ小規模モデルインスタンスを利用します。Kafkaはイベントバックボーンとして機能し、高スループットの配信とパーティションローカル順序付けを保証します。Temporalはオーケストレーションレイヤーとして機能し、永続的なステートを管理し、障害後の実行をリプレイします。モデルの呼び出しは、この設計においてリプレイ可能な副作用として扱われます。TemporalのWorkflow Event Historyは、会話の進捗の決定的な記録として機能します。Kafkaは独自のトランザクション境界内で強力な保証を提供しますが、外部システムとのやり取りには異なるアプローチが必要です。外部システムとのやり取りにおける正確性は、冪等性、重複排除、シーケンスチェック、および調整に依存します。グローバルなExactly-onceセマンティクスは、すべてのコンポーネント全体で達成することはできません。この設計は、安定したオーケストレーションのために耐久性とリプレイ可能性を優先します。