Эффективное обслуживание оптимизированных моделей ИИ с помощью микросервисов NVIDIA NIM на GKE

Google Cloud и NVIDIA объявили о доступности NVIDIA NIM в Google Kubernetes Engine (GKE), что позволяет пользователям развертывать микросервисы NIM напрямую из консоли GKE. Это интеграция оптимизирует вывод модели искусственного интеллекта, обеспечивая оптимальную задержку и пропускную способность с масштабируемостью и операционной эффективностью GKE. Контейнеризованные микросервисы NVIDIA NIM оптимизируют развертывание для распространенных моделей ИИ, предлагая стандартные API для бесшовной интеграции в приложения и рабочие процессы генеративного ИИ. Комбинация NVIDIA NIM и GKE открывает новые возможности для вывода моделей ИИ, помогая организациям обеспечивать оптимальную задержку и пропускную способность с масштабируемостью и операционной эффективностью GKE. Пользователи могут развернуть последние модели NIM, оптимизированные для GKE, всего несколькими кликами, расширяя возможности предыдущего развертывания на основе Helm. Это сотрудничество улучшает возможности развертывания и использует передовую технологию для обеспечения высокой производительности и надежности. Чтобы начать работу с NVIDIA NIM на GKE, перейдите в Google Kubernetes Engine в консоли Google Cloud, выберите NVIDIA NIM и запустите его для настройки развертывания. После развертывания подключитесь к конечной точке NIM и отправьте тестовое выводное значение с помощью команды curl.