Ускорьте свою генеративную ИИ: Разверните Llama4 и DeepSeek на AI Hypercomputer с новыми рецептами

Темпы инноваций в области ИИ с открытым исходным кодом захватывают дух, но развертывание и оптимизация больших моделей могут быть сложными и ресурсоемкими. Разработчикам нужны воспроизводимые, проверенные рецепты для тестирования моделей на доступных ускорителях. Платформа AI Hypercomputer предоставляет расширенную поддержку и новые оптимизированные рецепты для новейших моделей Llama4 и DeepSeek. Платформа помогает создать прочный фундамент AI-инфраструктуры, используя набор специально разработанных инфраструктурных компонентов, предназначенных для эффективной совместной работы с AI-нагрузками. Репозиторий ресурсов AI Hypercomputer на GitHub продолжает расти, предоставляя доступ к этим рецептам. Добавлены новые рецепты для обслуживания моделей Llama4 на Google Cloud Trillium TPU и A3 Mega и A3 Ultra GPU. Аналогично, добавлены новые рецепты для обслуживания моделей DeepSeek на Google Cloud Trillium TPU и A3 Mega и A3 Ultra GPU. Эти рецепты предоставляют отправную точку для развертывания и экспериментов с моделями Llama4 в Google Cloud. Разработчики могут развернуть модели Llama4 Scout и Maverick или DeepSeekV3/R1 уже сегодня, используя рецепты для инференса из репозитория AI Hypercomputer на Github.