Amazon EC2 G7e 인스턴스가 서울, 런던, 도쿄에서 AI 추론을 위한 Amazon SageMaker에서 사용 가능합니다. 이 인스턴스는 최대 8개의 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU를 제공하며, 각 GPU는 96GB의 메모리를 갖추고 있습니다. 또한 5세대 Intel Xeon 프로세서와 높은 네트워킹 대역폭을 특징으로 합니다. G7e 인스턴스는 이전 G6e 세대보다 최대 2.3배 향상된 추론 성능을 제공합니다. 이러한 확장을 통해 아시아 및 유럽의 사용자에게 더 가까운 곳에 추론 엔드포인트를 배포하여 생성형 AI의 지연 시간을 줄일 수 있습니다. 최대 768GB의 총 GPU 메모리를 갖춘 G7e 인스턴스는 멀티 노드 설정 없이 FP8 정밀도를 사용하여 최대 700억 개의 매개변수를 가진 LLM을 처리할 수 있습니다. 이 인스턴스는 LLM 추론, 이미지 및 비디오 생성, 공간 컴퓨팅, 과학 컴퓨팅에 이상적입니다. 새로운 리전은 SageMaker에서 G7e 인스턴스가 이전에 지원되던 위치에 합류합니다. 가격 정보는 Amazon SageMaker 가격 페이지에서 확인할 수 있습니다.