Voer uw AI-inferentie-applicaties uit op Cloud Run met NVIDIA-GPU's

Google Cloud heeft de ondersteuning voor NVIDIA L4 GPU's voor Cloud Run geïntroduceerd, nu in preview, waardoor ontwikkelaars real-time AI-inferentie kunnen uitvoeren met gemak. Deze upgrade is vooral gunstig voor toepassingen die gebruikmaken van open generatieve AI-modellen, zoals Google's Gemma en Meta's Llama. Belangrijke functies zijn snelle automatische schaling, schalen tot nul en betalen per gebruik, waardoor Cloud Run ideaal is voor het verwerken van variabele gebruikersverkeer en kostenoptimalisatie. Met deze nieuwe mogelijkheid kunnen ontwikkelaars lichte modellen implementeren voor taken zoals aangepaste chatbots en documentensamenvatting, of meer compute-intensieve toepassingen zoals beeldherkenning en 3D-rendering. De NVIDIA GPUs verbeteren de prestaties door AI-inferentieprocessen te versnellen, laag latentie en efficiënte schaling te bieden, terwijl Cloud Run's infrastructuur de onderliggende complexiteit beheert. Vroege adoptanten, zoals L'Oreal en Chaptr, hebben de GPU-integratie geprezen voor zijn lage opstarttijden, schaalbaarheid en gebruiksgemak. De GPU-ondersteuning is momenteel beschikbaar in de regio US-central1, met plannen om uit te breiden naar Europa en Azië tegen het einde van het jaar. Om een dienst met NVIDIA GPU's op Cloud Run te implementeren, kunnen ontwikkelaars GPU-vereisten specificeren via de opdrachtregel of de Google Cloud-console. Bovendien ondersteunt Cloud Run nu functies met GPU-bijlagen, waardoor event-driven AI-inferentie taken worden vereenvoudigd.