Cloud Pathways теперь общедоступен на GKE как основной компонент Google Cloud AI Hypercomputer. Изначально он был разработан Google DeepMind для обучения передовых моделей, таких как Gemini. Pathways — это распределенная среда выполнения машинного обучения, предназначенная для больших и разнообразных кластеров ускорителей. За последние 90 дней на Pathways в GKE было обработано более 130 миллионов часов работы чипов Cloud TPU. Теперь каждый клиент Google Cloud может использовать его среду выполнения с одним контроллером, размещенные рядом экземпляры Python и эластичную отказоустойчивость. Предварительная интеграция с Cluster Director расширяет возможности Cloud Pathways на кластеры Slurm для унифицированного выполнения JAX и интерактивных блокнотов. Cloud Pathways решает проблему сложности традиционных многоконтроллерных конфигураций при масштабировании рабочих нагрузок ИИ на тысячи ускорителей. Он заменяет управление несколькими контроллерами унифицированной архитектурой с одним контроллером, построенной на основе открытой среды выполнения Interim Framework Runtime. Это позволяет одному клиентскому процессу JAX оркестрировать несколько больших срезов TPU, как если бы они были локально подключены. Ключевые функции включают оркестрацию с одним контроллером, размещенные рядом экземпляры Python для вычислительно интенсивной логики, а также устойчивое и эластичное обучение. Он также предлагает интерактивный режим и службу Shared Pathways Service для гибкого доступа нескольких пользователей. Ведущие лаборатории ИИ и предприятия, такие как крупная компания потребительских технологий и ZenteiQ, уже используют Cloud Pathways для критически важных производственных рабочих нагрузок. Cloud Pathways доступен сегодня во всех регионах Google Cloud, поддерживающих Cloud TPU v5e, v5p, Trillium и Ironwood на GKE.