기업 팀들은 모든 작업에 단일 AI 모델을 사용하는 데 어려움을 겪고 있는데, 이는 간단한 쿼리에는 너무 비싸거나 복잡한 작업에는 부족하기 때문입니다. 각 작업에 가장 적합한 모델을 자동으로 선택하는 모델 라우팅이 해결책으로 부상하고 있습니다. Snowflake의 Cortex AI Gateway는 이제 동적 모델 라우팅 기능을 제공하여 사용자가 "자동" 선택을 선택할 수 있으며, 이는 품질과 비용의 균형을 맞추는 모델에 작업을 지능적으로 할당합니다. 이 기능은 간단한 질문에 대한 과도한 지출을 덜 능력 있고 저렴한 모델을 사용하여 방지함으로써 토큰 비용을 최대 3배까지 줄일 수 있다고 합니다. Databricks, AWS, Google Cloud, Nvidia와 같은 다른 주요 업체들도 유사한 모델 라우팅 기술을 개발하고 있습니다. Snowflake는 모델 라우팅이 가격과 성능 이상의 것을 포함하며, 거버넌스와 컨텍스트를 중요하게 통합한다고 강조합니다. 동적 라우팅 메커니즘은 "어드바이저 패턴"을 사용하여 더 작은 모델이 먼저 작업을 시도하고 필요한 경우 더 큰 모델로 에스컬레이션합니다. 또한 과거 쿼리에 대해 훈련된 분류기는 간단한 질문을 더 적합하고 간단한 모델로 라우팅합니다. 이 자동 라우팅은 선택 사항이며, 고객이 원하는 경우 수동으로 모델을 지정할 수 있습니다. Snowflake는 라우팅을 기존 데이터 거버넌스와 통합하여 역할 기반 액세스 제어를 데이터에서 모델 및 에이전트로 확장합니다. 오픈 모델은 데이터 상주 요구 사항을 충족하기 위해 고객의 리전 내에서 실행될 수 있으며, 모든 추론은 Snowflake의 보안 경계 내에 유지됩니다. Horizon Context 및 Cortex Sense와 같은 도구에서 제공하는 향상된 컨텍스트는 광범위한 탐색 작업의 필요성을 제거하여 저렴한 모델이 작업을 효과적으로 처리할 수 있도록 합니다. 에이전트 메모리도 컨텍스트에 통합되어 중복 문제 해결을 방지하고 비용을 절감합니다. 모델 라우팅의 경쟁 환경에는 OpenRouter, Nvidia의 Switchyard, Databricks의 Smart Routing과 같은 플랫폼이 포함됩니다. 차별화는 선호하는 플랫폼 내의 통합 거버넌스, 데이터 지역성, 액세스 제어 및 비용 할당으로 이동하고 있습니다. 모델 라우터를 선택할 때 조직은 기능이나 가격에만 초점을 맞추기보다는 기존 데이터 거버넌스 및 팀 구조와 가장 잘 맞는 것을 우선시해야 합니다. 어떤 라우터를 채택할지에 대한 결정은 기업의 기존 데이터 인프라 및 거버넌스 모델에 크게 좌우됩니다.