AI21 Labs、AI分野のリーディングカンパニーは、GPUコンピューティングリソースの管理において大きな課題に直面していました。Google Kubernetes Engine (GKE) クラスターの高稼働率は、手動スケジューリングと重要なモデルトレーニングジョブの長時間待機につながりました。以前はチームがSlackチャンネルを通じて容量を交渉していましたが、これがボトルネックとなり、利用可能なGPUの断片化を引き起こしました。この状況により、優先度の高いジョブは最大72時間の遅延を経験していました。これらの問題に対処するため、AI21 LabsはGoogle Cloud AI Hypercomputerを採用し、オープンソーススケジューラーKueueと統合しました。このソリューションはスケジューリングプロセスを合理化し、手動介入を大幅に削減しました。Kueueの採用により、トレーニングや推論を含むさまざまなワークロードの自動オーケストレーションが可能になりました。さらに、AI21 LabsはKueueチームと協力して、Admission Fair Sharing (AFS) のような新機能も開発しました。AFSは、チーム間のコンピューティングリソースの公平な分配を保証するのに役立ちます。また、Topology Aware Schedulingも実装され、実行できない場所にジョブが配置されるのを防ぎました。これらの改善により、優先度の高いジョブの待機時間は72時間からわずか12時間に大幅に短縮されました。GPUの断片化も減少し、「ゾンビジョブ」の問題も解消されました。同社の総コストは変わりませんでしたが、運用効率と研究者の生産性は大幅に向上しました。この移行により、貴重な人員の時間が解放され、より迅速な実験とイテレーションが可能になりました。