Cloud Pathways가 Google Cloud AI Hypercomputer의 핵심 구성 요소로서 GKE에서 이제 일반적으로 사용할 수 있습니다. 이 기술은 Gemini와 같은 최첨단 모델을 훈련하기 위해 Google DeepMind에서 처음 개발되었습니다. Pathways는 대규모의 다양한 가속기 플릿을 위해 설계된 분산 머신러닝 런타임입니다. 지난 90일 동안 GKE에서 Pathways를 사용하여 1억 3천만 시간 이상의 Cloud TPU 칩 시간을 처리했습니다. 이제 모든 Google Cloud 고객은 단일 컨트롤러 런타임, 함께 배치된 Python 사이드카, 탄력적인 내결함성을 활용할 수 있습니다. Cluster Director와의 미리 보기 통합은 Cloud Pathways를 Slurm 클러스터로 확장하여 통합 JAX 실행 및 대화형 노트북을 제공합니다. Cloud Pathways는 수천 개의 가속기에 걸쳐 AI 워크로드를 확장하기 위한 기존의 다중 컨트롤러 설정의 복잡성을 해결합니다. 오픈 소스 Interim Framework Runtime을 기반으로 구축된 통합 단일 컨트롤러 아키텍처로 다중 컨트롤러 관리를 대체합니다. 이를 통해 단일 JAX 클라이언트 프로세스가 마치 로컬로 연결된 것처럼 여러 대규모 TPU 슬라이스를 오케스트레이션할 수 있습니다. 주요 기능에는 단일 컨트롤러 오케스트레이션, 컴퓨팅 집약적인 로직을 위한 함께 배치된 Python 사이드카, 복원력 있고 탄력적인 훈련이 포함됩니다. 또한 유연한 다중 사용자 액세스를 위한 대화형 모드와 공유 Pathways 서비스를 제공합니다. 주요 AI 연구소 및 기업, 예를 들어 주요 소비자 기술 회사 및 ZenteiQ는 이미 미션 크리티컬 프로덕션 워크로드에 Cloud Pathways를 사용하고 있습니다. Cloud Pathways는 현재 GKE에서 Cloud TPU v5e, v5p, Trillium 및 Ironwood를 지원하는 모든 Google Cloud 리전에서 사용할 수 있습니다.