Cloud Pathways,一种面向大规模加速器集群的分布... 笔记

Cloud Pathways,一种面向大规模加速器集群的分布式机器学习运行时,现已正式发布(GA)。

Cloud Pathways 现已作为 Google Cloud AI 超算的核心组件在 GKE 上普遍可用。它最初由 Google DeepMind 开发,用于训练 Gemini 等前沿模型。Pathways 是一种面向大规模多样化加速器集群的分布式机器学习运行时。在过去 90 天内,已有超过 1.3 亿个 Cloud TPU 芯片小时通过 GKE 上的 Pathways 完成处理。如今,每一位 Google Cloud 客户均可利用其单控制器运行时、共置的 Python 边车容器以及弹性容错能力。与 Cluster Director 的预览版集成将 Cloud Pathways 扩展至 Slurm 集群,实现统一的 JAX 执行和交互式 Notebook。Cloud Pathways 解决了传统多控制器架构在跨数千个加速器扩展 AI 工作负载时的复杂性,以基于开源 Interim Framework Runtime 的统一单控制器架构取代多控制器管理。这使得单个 JAX 客户端进程能够像本地连接一样编排多个大型 TPU 切片。关键特性包括单控制器编排、用于计算密集型逻辑的共置 Python 边车容器,以及稳健且弹性的训练。此外,它还提供交互式模式和共享 Pathways 服务,以支持灵活的多人访问。领先的 AI 实验室和企业,包括一家主要消费技术公司和 ZenteiQ,已率先使用 Cloud Pathways 处理关键生产工作负载。Cloud Pathways 现已在所有支持 GKE 上 Cloud TPU v5e、v5p、Trillium 和 Ironwood 的 Google Cloud 区域中可用。
CdXz5zHNQW_Me7SwPag7x.jpeg