소형 언어 모델의 안정적인 오케스트레이션은 견고한 이벤트 흐름과 상태 관리에 달려 있습니다. 제안된 아키텍처는 최소한의 로컬 상태를 가진 소형 모델 인스턴스를 활용합니다. Kafka는 이벤트 백본 역할을 하여 높은 처리량의 전달과 파티션 로컬 순서를 보장합니다. Temporal은 오케스트레이션 계층 역할을 하여 내구성 있는 상태를 관리하고 실패 후 실행을 재개합니다. 모델 호출은 이 설계 내에서 재개 가능한 부작용으로 취급됩니다. Temporal의 워크플로우 이벤트 히스토리는 대화 진행 상황의 결정적인 기록 역할을 합니다. Kafka는 자체 트랜잭션 경계 내에서 강력한 보장을 제공하지만, 외부 시스템 상호 작용에는 다른 접근 방식이 필요합니다. 외부 시스템과의 상호 작용 시 정확성은 멱등성, 중복 제거, 순서 확인 및 조정에 의존합니다. 모든 구성 요소에 걸쳐 전역적으로 정확히 한 번의 의미론은 달성할 수 없습니다. 이 설계는 안정적인 오케스트레이션을 위해 내구성과 재개 가능성을 우선시합니다.