Ankündigung kleinerer Maschinentypen für A3 High-VMs

Unternehmen verwenden GPUs zunehmend für die Inferenz in ihren KI-/ML-Modellen. Sie benötigen eine höhere Granularität bei der Anzahl von GPUs in ihren virtuellen Maschinen, um die Kosten niedrig zu halten und gleichzeitig mit der Nachfrage der Benutzer zu skalieren. Google Cloud bietet A3 High VMs mit von NVIDIA H100 80 GB-GPUs in verschiedenen Maschinentypen, einschließlich 1, 2, 4 und 8 GPUs. Diese Maschinentypen sind über Vertex AI, Google Kubernetes Engine (GKE) und Google Compute Engine verfügbar. Die 1, 2 und 4 A3 High-GPU-Maschinentypen sind auch als Spot-VMs und über den Flex-Start-Modus von Dynamic Workload Scheduler (DWS) erhältlich. GKE bietet eine kosteneffiziente, hochskalierbare und offene Plattform für das Training und die Bereitstellung von KI-Workloads, und GKE Autopilot reduziert die Betriebskosten und bietet SLAs auf Workload-Ebene. Vertex AI ist eine vollständig verwaltete, einheitliche KI-Entwicklungsplattform zum Erstellen und Verwenden von prädiktiver und generativer KI. Die neuen A3 High GPU-Maschinentypen ermöglichen es Model Garden-Kunden, Hunderte von offenen Modellen kostengünstig und mit starker Leistung bereitzustellen. Kunden können diese Maschinentypen verwenden, um die Latenz zu reduzieren und das Nutzererlebnis zu verbessern. Google Cloud zielt darauf ab, Flexibilität zu bieten, um die Inferenz für KI- und ML-Modelle kostengünstig und mit hoher Leistung auszuführen. Die Verfügbarkeit von A3 High VMs mit NVIDIA H100 80 GB-GPUs in kleineren Maschinentypen bietet die Granularität, die für die Skalierung mit der Benutzernachfrage erforderlich ist, und hält gleichzeitig die Kosten unter Kontrolle.