AI çıkarım uygulamalarınızı NVIDIA GPU'ları ile Cloud Run'de çalıştırın

Google Cloud, NVIDIA L4 GPU desteğini Cloud Run için tanıtıyor ve bu da geliştiricilerin gerçek zamanlı AI çıkarımını kolaylaştırıyor. Bu yükseltme, Google'ın Gemma ve Meta'nın Llama gibi açık generatif AI modellerini kullanan uygulamalar için özellikle yararlıdır. Ana özellikler arasında hızlı otomatik ölçeklendirme, ölçeklenebilirlik ve kullanıma göre ödeme fiyatlandırması bulunur, bu da değişen kullanıcı trafiğini ve maliyet optimizasyonunu yönetmek için Cloud Run'u ideal hale getirir. Bu yeni yetenekle, geliştiriciler, özelleştirilmiş sohbet botları ve belge özeti gibi hafif modeller için görevleri ya da görüntü tanıma ve 3D rendering gibi daha yoğun hesaplama gerektiren uygulamalar için deploy edebilirler. NVIDIA GPUs, AI çıkarım süreçlerini hızlandırarak düşük gecikme süresi ve verimli ölçeklendirme sunar, Cloud Run'un altyapısında bulunan karmaşıklıkları yönetir. Erken benimseyenler, L’Oreal ve Chaptr, GPU entegrasyonu için düşük başlangıç süreleri, ölçeklenebilirlik ve kullanım kolaylığı için övgüde bulunuyorlar. GPU desteği şu anda US-central1 bölgesinde mevcuttur ve yıl sonunda Avrupa ve Asya'da da genişletilmesi planlanıyor. Cloud Run'da NVIDIA GPUs ile bir hizmeti deploy etmek için, geliştiriciler, komut satırı veya Google Cloud konsolü aracılığıyla GPU gereksinimlerini belirtebilirler. Ayrıca, Cloud Run artık GPU ekli fonksiyonları da destekliyor, bu da olay tabanlı AI çıkarım görevlerini basitleştiriyor.