모델 라우터 업데이트: 새로운 지역, 개선된 모델 풀,... 노트

모델 라우터 업데이트: 새로운 지역, 개선된 모델 풀, 그리고 힐 클라임 이해

Microsoft AI의 발전은 "힐 클라이밍(hill climbing)"이라고 불리는 체계적인 루프를 통해 이루어지며, 이는 컴퓨팅, 데이터, 평가를 통한 지속적인 개선을 포함합니다. 이 개념은 품질, 지연 시간, 비용에 중점을 두고 측정 가능한 단계로 배포 가능한 모델 패키지를 개선하는 데 적용됩니다. Foundry Models의 모델 라우터는 수동 또는 사용자 지정 라우팅 도구를 넘어서는 모델 선택 프로세스에 이러한 힐 클라이밍 접근 방식을 적용합니다. 이번 최신 릴리스는 지원되는 모델 풀과 지역 가용성을 늘려 모델 라우터의 기능을 확장합니다. 모델 풀에 새로 추가된 항목에는 Anthropic Claude Opus 4.8 및 GPT-5.6 제품군이 포함되며, 이전 모델은 사용 중단됩니다. 모델 라우터는 이제 규제 및 거버넌스 요구 사항을 충족하기 위해 28개의 글로벌 지역과 21개의 데이터 존 지역에서 사용할 수 있습니다. 모델 풀 업데이트는 자동으로 이루어져 애플리케이션을 재배포할 필요 없이 안정적인 엔드포인트를 유지합니다. 모델 라우터는 A/B 테스트, 모델 분해 및 지속적인 라우팅을 통해 최적화 루프를 지원합니다. A/B 테스트를 통해 팀은 최적의 프로덕션 사용을 위해 모델과 라우팅 전략을 비교할 수 있습니다. 모델 분해는 워크로드 동작을 이해하고 전문화 기회를 식별하는 데 도움이 됩니다. 지속적인 라우팅은 요청별로 최적의 모델을 선택할 수 있도록 하여 모델 선택을 지속적인 최적화 프로세스로 전환합니다.