Надежная оркестрация для малых языковых моделей зависит от надежного потока событий и управления состоянием. Предлагаемая архитектура использует малые экземпляры моделей с минимальным локальным состоянием. Kafka служит основой для событий, обеспечивая высокую пропускную способность и упорядочивание в пределах раздела. Temporal выступает в качестве слоя оркестрации, управляя устойчивым состоянием и перезапуская выполнение после сбоев. Вызовы моделей рассматриваются как повторяемые побочные эффекты в рамках этой конструкции. История событий рабочего процесса Temporal служит окончательной записью хода беседы. В то время как Kafka предлагает надежные гарантии в пределах своих собственных границ транзакций, взаимодействие с внешними системами требует различных подходов. Корректность при взаимодействии с внешними системами зависит от идемпотентности, дедупликации, проверки последовательности и сверки. Глобальная семантика "ровно один раз" не может быть достигнута во всех компонентах. Эта конструкция отдает приоритет долговечности и возможности повторного выполнения для стабильной оркестрации.