A3 High VM용 작은 머신 유형 발표

조직은 AI/ML 모델에서 추론을 실행하는 데 GPU를 점점 더 많이 사용하고 있으며, 사용자 수요에 따라 확장하면서 비용을 낮추려면 가상 머신의 GPU 수에 더 세분화된 정보가 필요합니다. Google Cloud는 1개, 2개, 4개, 8개의 GPU를 포함한 여러 머신 유형에서 NVIDIA H100 80GB GPU로 구동되는 A3 하이 VM을 제공합니다. 이러한 머신 유형은 Vertex AI, Google Kubernetes Engine(GKE), Google Compute Engine을 통해 사용할 수 있습니다. 1, 2, 4 A3 하이 GPU 머신 유형은 또한 Spot VM과 동적 워크로드 스케줄러(DWS) 플렉스 스타트 모드를 통해 사용할 수 있습니다. GKE는 AI 워크로드 훈련 및 제공을 위한 비용 효율적이고, 확장성이 뛰어나고, 개방된 플랫폼을 제공하며, GKE Autopilot은 운영 비용을 줄이고 워크로드 수준의 SLA를 제공합니다. Vertex AI는 예측 및 생성 AI를 구축하고 사용하기 위한 완전히 관리되는 통합 AI 개발 플랫폼입니다. 새로운 A3 하이 GPU 머신 유형은 Model Garden 고객이 비용 효율적으로 수백 개의 오픈 모델을 강력한 성능으로 배포할 수 있도록 합니다. 고객은 이러한 머신 유형을 사용하여 대기 시간을 줄이고 사용자 경험을 향상시킬 수 있습니다. Google Cloud는 AI 및 ML 모델에 대한 추론을 비용 효율적으로 뛰어난 성능으로 실행할 수 있는 유연성을 제공하는 것을 목표로 합니다. 소규모 머신 유형에서 NVIDIA H100 80GB GPU를 사용하는 A3 하이 VM을 사용할 수 있으면 비용을 통제하면서 사용자 수요에 따라 확장하는 데 필요한 세분성을 제공합니다.