Führen Sie Ihre KI-Schlussfolgerungsanwendungen auf Cloud Run mit NVIDIA-GPUs aus

Google Cloud hat die Unterstützung für NVIDIA L4 GPU für Cloud Run vorgestellt, derzeit in der Vorschau, um Entwicklern die Durchführung von Echtzeit-AI-Schlußfolgerungen zu erleichtern. Dieses Upgrade ist insbesondere für Anwendungen von Vorteil, die offene generative AI-Modelle wie Google's Gemma und Meta's Llama nutzen. Hauptmerkmale sind schnelles Autoscaling, Skalierung auf Null und pay-per-use-Preisgestaltung, was Cloud Run ideal für die Bewältigung variabler Benutzertraffic und Kostenoptimierung macht. Mit dieser neuen Funktionalität können Entwickler leichte Modelle für Aufgaben wie benutzerdefinierte Chatbots und Dokumentenzusammenfassungen bereitstellen oder anspruchsvollere Anwendungen wie Bilderkennung und 3D-Rendering. Die NVIDIA-GPUs verbessern die Leistung, indem sie AI-Schlußfolgerungsprozesse beschleunigen, niedrige Latenzzeiten und effizientes Skalieren bieten, während Cloud Runs Infrastruktur die zugrunde liegenden Komplexitäten verwaltet. Frühe Anwender wie L’Oreal und Chaptr haben die GPU-Integration für ihre kurzen Startzeiten, Skalierbarkeit und Benutzerfreundlichkeit gelobt. Die GPU-Unterstützung ist derzeit im US-central1-Region verfügbar, mit Plänen, bis zum Jahresende auf Europa und Asien auszuweiten. Um einen Dienst mit NVIDIA-GPUs auf Cloud Run zu deployen, können Entwickler GPU-Anforderungen über die Befehlszeile oder die Google Cloud-Konsole angeben. Darüber hinaus unterstützt Cloud Run nun auch Funktionen mit GPU-Anhängen, was ereignisgesteuerte AI-Schlußfolgerungsaufgaben vereinfacht.