Kør dine AI-inferens-applikationer på Cloud Run med NVIDIA GPU'er

Google Cloud har introduceret NVIDIA L4 GPU-understøttelse for Cloud Run, nu i preview, hvilket gør det muligt for udviklere at udføre realtid AI-inferens med lethed. Dette opgradering er især fordelagtig for applikationer, der anvender åbne generative AI-modeller, såsom Google's Gemma og Meta's Llama. Nøglefunktioner omfatter hurtig autoscaling, scale-to-zero og betal-per-brug-pris, hvilket gør Cloud Run ideelt til at håndtere variabel brugertrafik og omkostningsoptimering. Med denne nye funktion kan udviklere installere letvægtsmodeller til opgaver som brugerdefinerede chatbots og dokumentresumé, eller mere beregningsintensive applikationer som billedgenkendelse og 3D-rendering. NVIDIA GPU'er forbedrer ydeevnen ved at accelerere AI-inferensprocesser, tilbyde lav latency og effektiv scaling, med Cloud Runs infrastruktur, der håndterer de underliggende kompleksiteter. Tidlige adoptører, såsom L’Oreal og Chaptr, har rost GPU-integrationen for dens lave opstartstider, skalerbarhed og brugervenlighed. GPU-understøttelsen er nu tilgængelig i US-central1-regionen, med planer om at udvide til Europa og Asien inden årets udgang. For at installere en tjeneste med NVIDIA GPUs på Cloud Run kan udviklere specificere GPU-krav via kommandolinjen eller Google Cloud-konsollen. Desuden understøtter Cloud Run nu funktioner med GPU-vedhæftninger, hvilket simplificerer begivenhed-drevne AI-inferensopgaver.