Инстансы Amazon EC2 G7e теперь доступны на Amazon SageMaker для инференса ИИ в Сеуле, Лондоне и Токио. Эти инстансы предлагают до восьми GPU NVIDIA RTX PRO 6000 Blackwell Server Edition, каждый с 96 ГБ памяти. Они также оснащены процессорами Intel Xeon 5-го поколения и высокой пропускной способностью сети. Инстансы G7e обеспечивают до 2,3 раза лучшую производительность инференса по сравнению с предыдущим поколением G6e. Это расширение позволяет развертывать конечные точки инференса ближе к пользователям в Азии и Европе, снижая задержку для генеративного ИИ. С общим объемом памяти GPU до 768 ГБ, инстансы G7e могут обрабатывать LLM с количеством параметров до 70 миллиардов, используя точность FP8 без многоузловых конфигураций. Эти инстансы идеально подходят для инференса LLM, генерации изображений и видео, пространственных вычислений и научных вычислений. Новые регионы присоединяются к ранее поддерживаемым локациям для инстансов G7e на SageMaker. Подробности о ценах доступны на странице цен Amazon SageMaker.