SageMaker AI Inference의 G6 인스턴... 노트

SageMaker AI Inference의 G6 인스턴스 리전 확장 발표

Amazon EC2 G6 인스턴스가 Amazon SageMaker AI 추론을 위해 AWS GovCloud (US-East) 리전에서 제공됩니다. 이 인스턴스는 24GB 메모리를 갖춘 NVIDIA L4 Tensor Core GPU와 AMD EPYC 프로세서를 활용합니다. G6 인스턴스는 G4dn 인스턴스 대비 최대 두 배의 딥러닝 추론 성능을 제공합니다. 이번 확장을 통해 GovCloud 내 정부 기관은 생성형 AI를 위한 추론 엔드포인트를 배포할 수 있습니다. 이러한 워크로드에는 언어 모델, 이미지 생성 및 컴퓨터 비전 작업이 포함됩니다. 이러한 배포는 엄격한 규정 준수 및 데이터 상주 규정을 준수합니다. G6 인스턴스는 24GB GPU 메모리 내에서 프로덕션 추론 요구 사항에 대한 뛰어난 가격 대비 성능을 제공합니다. 이제 다른 리전 외에도 AWS GovCloud (US-East)에서 사용할 수 있습니다. 관심 있는 사용자는 AWS 가격 페이지에서 자세한 가격 정보를 확인할 수 있습니다. 이러한 가용성은 정부 기관의 AI 기능을 향상시킵니다.