Amazon SageMaker AI теперь предлагает рекомендации по выводу генеративного ИИ в SageMaker AI Studio. Это обеспечивает путь с минимальным кодом или без кода для поиска оптимальных конфигураций вывода. Это развитие предыдущего запуска на основе API путем расширения инфраструктуры бенчмаркинга на визуальные рабочие процессы. Продуктивное развертывание моделей генеративного ИИ требует тщательного выбора типов экземпляров, контейнеров обслуживания и стратегий оптимизации. Ранее этот процесс занимал недели ручного труда с неопределенными результатами. Новая функция SageMaker позволяет пользователям описывать свою рабочую нагрузку и приоритеты, такие как задержка, пропускная способность или стоимость. Затем SageMaker AI проводит бенчмаркинг различных конфигураций на GPU-инфраструктуре с использованием NVIDIA AIPerf. Он применяет такие методы, как спекулятивное декодирование или настройка ядра, для достижения целей пользователя. Сервис возвращает ранжированные, готовые к производству рекомендации с данными о производительности, экономя командам недели работы. Пользователи могут выбирать профили вариантов использования, цели оптимизации и источник своей модели в SageMaker AI Studio. Рекомендации ранжируются по ключевым показателям производительности и могут быть визуально сравнены перед развертыванием. Дополнительных затрат на генерацию рекомендаций нет, только стандартные расходы на вычисления для активных ресурсов.