Amazon SageMaker AI inference теперь предлагает улучшенную производительность с инстансами G7, оснащенными GPU NVIDIA RTX PRO 4500 Blackwell Server Edition. Эти новые инстансы обеспечивают до 4,6 раз лучшую производительность AI-инференса по сравнению с инстансами предыдущего поколения G6. Это достижение отвечает растущей потребности в высокой пропускной способности GPU и объеме памяти для развертывания генеративных AI-моделей в производственной среде. Ранее пользователи часто вынуждены были избыточно выделять вычислительные ресурсы или квантовать модели из-за ограничений памяти. Инстансы G7 предоставляют 32 ГБ памяти GPU на каждый GPU и оснащены тензорными ядрами 5-го поколения. Они также предлагают значительно улучшенные сетевые возможности с пропускной способностью до 700 Гбит/с с поддержкой EFA, что в семь раз быстрее, чем у G6. Кроме того, эти инстансы включают до 7,6 ТБ локального хранилища NVMe SSD для быстрого доступа к большим моделям. Эти возможности делают инстансы G7 идеальными для обслуживания моделей с 7-30 миллиардами параметров, а также для задач генерации изображений и видео. Развертывание упрощается через консоль SageMaker AI Inference, API или SDK, путем выбора типов инстансов G7. Инстансы G7 в настоящее время доступны в регионах US East (N. Virginia, Ohio) и US West (Oregon).