Amazon SageMaker AI 추론이 NVIDIA RTX PRO 4500 Blackwell Server Edition GPU를 탑재한 G7 인스턴스로 향상된 성능을 제공합니다. 이 새로운 인스턴스는 이전 세대 G6 인스턴스보다 최대 4.6배 더 나은 AI 추론 성능을 제공합니다. 이러한 발전은 생성형 AI 모델을 프로덕션 환경에 배포하기 위한 높은 GPU 처리량 및 메모리 용량에 대한 증가하는 요구를 해결합니다. 이전에는 메모리 제약으로 인해 사용자가 컴퓨팅을 과도하게 프로비저닝하거나 모델을 양자화해야 하는 경우가 많았습니다. G7 인스턴스는 GPU당 32GB의 GPU 메모리를 제공하며 5세대 Tensor Core를 특징으로 합니다. 또한 최대 700Gbps의 EFA 지원 네트워킹으로 G6보다 7배 빠른 크게 향상된 네트워킹 기능을 제공합니다. 또한 이 인스턴스에는 대규모 모델에 대한 빠른 액세스를 위해 최대 7.6TB의 로컬 NVMe SSD 스토리지가 포함되어 있습니다. 이러한 기능은 G7 인스턴스를 7B에서 30B 매개변수를 가진 모델, 그리고 이미지 및 비디오 생성 작업을 서비스하는 데 이상적입니다. G7 인스턴스 유형을 선택하여 SageMaker AI 추론 콘솔, API 또는 SDK를 통해 배포를 간소화할 수 있습니다. G7 인스턴스는 현재 US East (N. Virginia, Ohio) 및 US West (Oregon) 리전에서 사용할 수 있습니다.