Ejecuta tus aplicaciones de inferencia de IA en Cloud Run con GPUs de NVIDIA

Google Cloud ha lanzado el soporte de GPU NVIDIA L4 para Cloud Run, ahora en versión de vista previa, lo que permite a los desarrolladores realizar inferencias de IA en tiempo real con facilidad. Esta actualización es especialmente beneficiosa para las aplicaciones que utilizan modelos de IA generativa abierta, como Gemma de Google y Llama de Meta. Las características clave incluyen escalado rápido, escalado a cero y precio por uso, lo que hace que Cloud Run sea ideal para manejar el tráfico de usuarios variable y la optimización de costos. Con esta nueva capacidad, los desarrolladores pueden implementar modelos ligeros para tareas como chatbots personalizados y resúmenes de documentos, o aplicaciones más intensivas en cálculo como el reconocimiento de imágenes y la renderización en 3D. Las GPUs de NVIDIA mejoran el rendimiento al acelerar los procesos de inferencia de IA, ofreciendo baja latencia y escalado eficiente, con la infraestructura de Cloud Run gestionando las complejidades subyacentes. Los primeros adoptantes, como L’Oreal y Chaptr, han elogiado la integración de GPU por sus tiempos de inicio rápidos, escalabilidad y facilidad de uso. El soporte de GPU está disponible actualmente en la región US-central1, con planes para expandirse a Europa y Asia para fin de año. Para implementar un servicio con GPUs NVIDIA en Cloud Run, los desarrolladores pueden especificar los requisitos de GPU a través de la línea de comandos o la consola de Google Cloud. Además, Cloud Run ahora admite funciones con anexos de GPU, simplificando las tareas de inferencia de IA basadas en eventos.