로컬 우선 및 완전 추적: Ollama, Foundry... 노트

로컬 우선 및 완전 추적: Ollama, Foundry Local 및 Microsoft Foundry 간 라우팅

퍼블리싱 에이전트 프로젝트는 강력한 클라우드 기반 AI 동작과 몇 분만 프로젝트를 시도할 사용자의 제한된 인내심 사이의 긴장감을 수반합니다. 이를 해결하기 위해 하이브리드 접근 방식은 단일 계약 하에 가용성에 따라 요청을 다른 계층의 모델로 라우팅합니다. 이를 통해 클라우드 서비스가 실패하더라도 동일한 스키마와 코드 경로를 가진 로컬 폴백이 사용됩니다. 포크 가능성, 즉 다른 사람의 기계에서 프로젝트를 실행할 수 있는 능력은 이 접근 방식을 통해 신뢰할 수 있게 됩니다. 상세한 로깅 및 추적을 통한 관찰 가능성은 각 요청이 어떤 경로를 통해 제공되었는지, 그리고 그 이유를 명확하게 보여줌으로써 사용자 신뢰를 구축합니다.시스템은 로컬 모델을 우선시하지만, 로컬 옵션을 사용할 수 없거나 오류가 발생하는 경우 클라우드 기반 Foundry 모델로 원활하게 폴백할 수 있습니다. 이러한 복원력은 create_chat_completion과 같은 함수 내에서 자동으로 관리되며, 호출자가 개입할 필요 없이 여러 실패 모드를 처리합니다. 폴백이 발생하면 명시적으로 로깅되고 리플레이 로그에 표시되어 프로세스에 대한 투명한 기록을 제공합니다. 시스템은 역할별 라우팅을 허용하여 시스템 내의 다른 에이전트가 클라우드 또는 로컬이든 특정 모델을 활용할 수 있도록 합니다. 런타임 구성은 설정 콘솔을 통해 조정할 수 있으며, 애플리케이션을 다시 시작하지 않고도 라우팅 모드 및 모델 할당 변경을 허용합니다. 타임아웃 및 재시도는 시스템이 중단되는 것을 방지하기 위해 엄격하게 제한되며, 사용자에게 빠르고 유익한 오류 경험을 보장합니다.