Kör dina AI-inferensapplikationer på Cloud Run med NVIDIA GPUs

Google Cloud har introducerat stöd för NVIDIA L4 GPU i Cloud Run, nu i förhandsversion, vilket möjliggör för utvecklare att utföra realtids-AI-inferens med lätthet. Denna uppgradering är särskilt fördelaktig för applikationer som använder öppna generativa AI-modeller, såsom Googles Gemma och Metas Llama. Viktiga funktioner inkluderar snabb autoscaling, skalning till noll och betala-per-användning-prissättning, vilket gör Cloud Run idealiskt för att hantera variabel användartrafik och kostnadsoptimering. Med denna nya funktion kan utvecklare distribuera lätta modeller för uppgifter som anpassade chattbots och dokument sammanfattning, eller mer beräkningsintensiva applikationer som bildigenkänning och 3D-rendering. NVIDIA GPUs förbättrar prestanda genom att accelerera AI-inferensprocesser, erbjuda låg latens och effektiv skalning, med Cloud Runs infrastruktur som hanterar de underliggande komplexiteterna. Tidiga adoptörer, som L’Oreal och Chaptr, har prisat GPU-integrationen för dess låga starttider, skalbarhet och användarvänlighet. GPU-stödet är för närvarande tillgängligt i regionen US-central1, med planer på att expandera till Europa och Asien senare i år. För att distribuera en tjänst med NVIDIA GPUs på Cloud Run kan utvecklare specificera GPU-krav via kommandoraden eller Google Cloud-konsolen. Dessutom stöder Cloud Run nu funktioner med GPU-attachment, vilket förenklar event-driven AI-inferensuppgifter.