A3 High VM の小型マシンタイプの発表

組織は、コストを低く保ちながらユーザーの需要に応じてスケーリングするために、仮想マシン内のGPUの数にさらに細かい制御が必要なため、AI/MLモデルで推論を実行するためにGPUを使用することが増えています。Google Cloudは、NVIDIA H100 80GB GPUを搭載したA3 High VMを、1、2、4、8個のGPUを搭載した複数のマシンタイプで提供しています。これらのマシンタイプは、Vertex AI、Google Kubernetes Engine（GKE）、Google Compute Engineで利用できます。1、2、4個のA3 High GPUマシンタイプは、Spot VMおよびDynamic Workload Scheduler（DWS）のFlex Startモードでも利用できます。GKEは、AIワークロードのトレーニングと提供のために、コスト効率が高くスケーラブルでオープンなプラットフォームを提供し、GKE Autopilotは運用コストを削減し、ワークロードレベルのSLAを提供します。Vertex AIは、予測および生成AIを構築して使用するためのフルマネージドな統一AI開発プラットフォームです。新しいA3 High GPUマシンタイプにより、Model Gardenの顧客は、数百のオープンモデルをコスト効率が高く強力なパフォーマンスでデプロイできます。顧客は、これらのマシンタイプを使用して待ち時間を短縮し、ユーザーエクスペリエンスを向上させることができます。Google Cloudは、AIおよびMLモデルで推論を実行するために、コスト効率が高く強力なパフォーマンスで柔軟性を提供することを目指しています。NVIDIA H100 80GB GPUを使用したA3 High VMの小規模マシンタイプの提供により、ユーザーの需要に応じてスケーリングするために必要な粒度が提供され、コストを抑えることができます。