Kjør dine AI-inferensapplikasjoner på Cloud Run med NVIDIA-GPUer

Google Cloud har introdusert støtte for NVIDIA L4 GPU i Cloud Run, nå i preview, og muliggjør utviklere å utføre sanntids AI-inferens med lett. Dette oppgraderingen er spesielt gunstig for applikasjoner som bruker åpne generative AI-modeller, som Google's Gemma og Meta's Llama. Viktige funksjoner inkluderer rask autoscaling, scale-to-zero og betal-per-bruk-pris, noe gjør Cloud Run ideelt for håndtering av variabel brukertrafikk og kostnadsoptimalisering. Med denne nye funksjonaliteten kan utviklere deployere lette modeller for oppgaver som custom chatbots og dokumentsummarisering, eller mer compute-intensive applikasjoner som bildeerkjenning og 3D-rendering. NVIDIA GPUs forbedrer ytelsen ved å accelerere AI-inferensprosesser, tilbyr lav latency og effektiv scaling, med Cloud Runs infrastruktur som håndterer de underliggende kompleksiteter. Tidlige adoptører, som L’Oreal og Chaptr, har rost GPU-integreringen for dens lave startup-tider, skalerbarhet og brukervennlighet. GPU-støtten er for øyeblikket tilgjengelig i US-central1-regionen, med planer om å utvide til Europa og Asia innen utgangen av året. For å deployere en tjeneste med NVIDIA GPUs på Cloud Run, kan utviklere spesifisere GPU-krav via kommandolinje eller Google Cloud-konsollen. I tillegg støtter Cloud Run nå funksjoner med GPU-vedlegg, noe forenkler event-driven AI-inferensoppgaver.