Запускайте свои приложения ИИ-инференции в Cloud Run с NVIDIA GPU

Google Cloud представил поддержку GPU NVIDIA L4 для Cloud Run, которая сейчас находится в предварительном просмотре, что позволяет разработчикам проводить реальное время AI-инференцию с легкостью. Это обновление особенно полезно для приложений, использующих открытые генеративные модели ИИ, такие как Gemma от Google и Llama от Meta. Ключевые функции включают быстрое масштабирование, масштабирование до нуля и оплату по использованию, что делает Cloud Run идеальным для обработки переменного пользовательского трафика и оптимизации затрат. С помощью этой новой возможности разработчики могут развертывать легкие модели для задач, таких как настройка чат-ботов и резюмирование документов, или более ресурсоемкие приложения, такие как распознавание изображений и трехмерное рендеринг. NVIDIA GPUs улучшают производительность, ускоряя процессы AI-инференции, предлагая низкую задержку и эффективное масштабирование, при этом инфраструктура Cloud Run управляет лежащими в основе сложностями. Ранние пользователи, такие как L’Oreal и Chaptr, высоко оценили интеграцию GPU за короткие стартовые времена, масштабируемость и простоту использования. Поддержка GPU в настоящее время доступна в регионе US-central1, с планами по расширению до Европы и Азии к концу года. Чтобы развернуть службу с поддержкой GPU NVIDIA на Cloud Run, разработчики могут указать требования к GPU с помощью командной строки или консоли Google Cloud. Кроме того, Cloud Run теперь поддерживает функции с вложениями GPU, упрощая задачи по событийной AI-инференции.