Обновления маршрутизатора моде... Заметка

Обновления маршрутизатора моделей: новые регионы, обновленный пул моделей и понимание восхождения по холму

Прогресс Microsoft в области ИИ достигается благодаря дисциплинированному циклу, называемому "восхождением на холм", который включает в себя постоянное совершенствование с использованием вычислительных ресурсов, данных и оценки. Эта концепция применяется для улучшения развертываемых пакетов моделей путем измеренных шагов, уделяя особое внимание качеству, задержке и стоимости. Маршрутизатор моделей в Foundry Models применяет этот подход "восхождения на холм" к процессу выбора моделей, выходя за рамки ручных или пользовательских инструментов маршрутизации. Последний выпуск расширяет возможности маршрутизатора моделей, увеличивая пул поддерживаемых моделей и его региональную доступность. Новые дополнения к пулу моделей включают Anthropic Claude Opus 4.8 и семейство GPT-5.6, в то время как старые модели выводятся из эксплуатации. Маршрутизатор моделей теперь доступен в 28 глобальных регионах и 21 регионе зон данных для соблюдения нормативных требований и требований управления. Обновления пула моделей происходят автоматически, поддерживая стабильную конечную точку, поэтому приложениям не требуется повторное развертывание. Маршрутизатор моделей поддерживает цикл оптимизации посредством A/B-тестирования, декомпозиции моделей и непрерывной маршрутизации. A/B-тестирование позволяет командам сравнивать модели и стратегии маршрутизации для оптимального использования в производстве. Декомпозиция моделей помогает понять поведение рабочей нагрузки и выявить возможности для специализации. Непрерывная маршрутизация позволяет выбирать наиболее подходящую модель для каждого запроса, превращая выбор модели в непрерывный процесс оптимизации.