Cloud Pathways、大規模アクセラレータフリート向... ノート

Cloud Pathways、大規模アクセラレータフリート向けの分散型MLランタイム、一般提供開始

Cloud Pathwaysは、Google Cloud AI Hypercomputerの中核コンポーネントとして、GKEで一般提供が開始されました。当初は、Geminiのような最先端モデルのトレーニングのためにGoogle DeepMindによって開発されました。Pathwaysは、大規模で多様なアクセラレータフリート向けに設計された分散型機械学習ランタイムです。過去90日間で、1億3000万以上のCloud TPUチップ時間(chip-hours)がGKE上のPathwaysを使用して処理されました。すべてのGoogle Cloudのお客様は、そのシングルコントローラーランタイム、コロケーションされたPythonサイドカー、および弾力的な耐障害性を活用できるようになりました。Cluster Directorとのプレビュー統合により、Cloud PathwaysはSlurmクラスターに拡張され、JAXの実行とインタラクティブノートブックの統合が可能になります。Cloud Pathwaysは、数千のアクセラレータにわたるAIワークロードのスケーリングにおける、従来のマルチコントローラーセットアップの複雑さを解決します。オープンソースのInterim Framework Runtime上に構築された統合されたシングルコントローラーアーキテクチャにより、マルチコントローラー管理を置き換えます。これにより、単一のJAXクライアントプロセスが、ローカルに接続されているかのように複数の大規模TPUスライスをオーケストレーションできます。主な機能には、シングルコントローラーオーケストレーション、計算集約型ロジックのためのコロケーションされたPythonサイドカー、および回復力と弾力性のあるトレーニングが含まれます。また、インタラクティブモードとShared Pathways Serviceも提供され、柔軟なマルチユーザーアクセスが可能になります。主要なAIラボや企業、例えば大手コンシューマーテクノロジー企業やZenteiQは、すでにミッションクリティカルな本番ワークロードにCloud Pathwaysを使用しています。Cloud Pathwaysは、本日より、GKE上のCloud TPU v5e、v5p、Trillium、およびIronwoodをサポートするすべてのGoogle Cloudリージョンで利用可能です。
CdXz5zHNQW_Me7SwPag7x.jpeg