Команды предприятий сталкиваются с трудностями при использовании одной модели ИИ для всех задач, поскольку они либо слишком дороги для простых запросов, либо недостаточны для сложных. Маршрутизация моделей, которая автоматически выбирает лучшую модель для каждой задачи, становится решением. Cortex AI Gateway от Snowflake теперь поддерживает динамическую маршрутизацию моделей, позволяя пользователям выбирать "автоматический" режим, который интеллектуально назначает задачи моделям, балансируя качество и стоимость. Сообщается, что эта возможность может снизить затраты на токены до трех раз, поскольку она предотвращает перерасход средств на простые вопросы, используя менее мощные и более дешевые модели. Другие крупные игроки, такие как Databricks, AWS, Google Cloud и Nvidia, также разрабатывают аналогичные технологии маршрутизации моделей. Snowflake подчеркивает, что маршрутизация моделей включает в себя не только цену и производительность, но и, что важно, управление и контекст. Механизм динамической маршрутизации использует "паттерн советника", где меньшая модель сначала пытается выполнить задачу, а при необходимости переходит к более крупной модели. Кроме того, классификатор, обученный на прошлых запросах, направляет простые вопросы к более подходящим, более простым моделям. Эта автоматическая маршрутизация является необязательной, позволяя клиентам вручную указывать модели при желании. Snowflake интегрирует маршрутизацию с существующим управлением данными, расширяя контроль доступа на основе ролей от данных до моделей и агентов. Открытые модели могут работать в регионе клиента для удовлетворения требований к резидентности данных, при этом весь вывод остается в пределах безопасной границы Snowflake. Улучшенный контекст, предоставляемый такими инструментами, как Horizon Context и Cortex Sense, позволяет более дешевым моделям эффективно решать задачи, устраняя необходимость в обширной разведывательной работе. Память агента также включена в контекст, предотвращая избыточное решение проблем и снижая затраты. Конкурентная среда маршрутизации моделей включает такие платформы, как OpenRouter, Switchyard от Nvidia и Smart Routing от Databricks. Дифференциация смещается в сторону интегрированного управления, локальности данных, контроля доступа и распределения затрат в рамках предпочтительной платформы. При выборе маршрутизатора моделей организации должны отдавать приоритет тому, который наилучшим образом соответствует их существующему управлению данными и структуре команды, а не только фокусироваться на функциях или цене. Решение о том, какой маршрутизатор принять, в значительной степени зависит от существующей инфраструктуры данных и модели управления предприятия.