Google Cloud har introdusert støtte for NVIDIA L4 GPU i Cloud Run, nå i preview, og muliggjør utviklere å utføre sanntids AI-inferens med lett. Dette oppgraderingen er spesielt gunstig for applikasjoner som bruker åpne generative AI-modeller, som Google's Gemma og Meta's Llama. Viktige funksjoner inkluderer rask autoscaling, scale-to-zero og betal-per-bruk-pris, noe gjør Cloud Run ideelt for håndtering av variabel brukertrafikk og kostnadsoptimalisering.Med denne nye funksjonaliteten kan utviklere deployere lette modeller for oppgaver som custom chatbots og dokumentsummarisering, eller mer compute-intensive applikasjoner som bildeerkjenning og 3D-rendering. NVIDIA GPUs forbedrer ytelsen ved å accelerere AI-inferensprosesser, tilbyr lav latency og effektiv scaling, med Cloud Runs infrastruktur som håndterer de underliggende kompleksiteter.Tidlige adoptører, som L’Oreal og Chaptr, har rost GPU-integreringen for dens lave startup-tider, skalerbarhet og brukervennlighet. GPU-støtten er for øyeblikket tilgjengelig i US-central1-regionen, med planer om å utvide til Europa og Asia innen utgangen av året.For å deployere en tjeneste med NVIDIA GPUs på Cloud Run, kan utviklere spesifisere GPU-krav via kommandolinje eller Google Cloud-konsollen. I tillegg støtter Cloud Run nå funksjoner med GPU-vedlegg, noe forenkler event-driven AI-inferensoppgaver.