AI21 Labs 是一家领先的 AI 公司，在管理其 GPU 计算资源时面临重大挑战。Google Kubernetes Engine (GKE) 集群的高利用率导致人工调度需求增加，关键模型训练任务的等待时间显著延长。此前，各团队通过 Slack 频道协商容量，造成瓶颈并导致可用 GPU 碎片化。这一状况致使高优先级任务的延迟高达 72 小时。为应对这些问题，AI21 Labs 采用了 Google Cloud AI Hypercomputer，并将其与开源调度器 Kueue 集成。该方案简化了调度流程，大幅减少了人工干预。Kueue 的采用实现了对多种工作负载（包括训练和推理）的自动编排。此外，AI21 Labs 与 Kueue 团队合作开发了新功能，如准入公平共享（Admission Fair Sharing, AFS）。AFS 有助于确保计算资源在各团队间的公平分配。同时实施了拓扑感知调度（Topology Aware Scheduling），防止任务被调度到无法运行的节点。这些改进显著降低了高优先级任务的等待时间，从 72 小时缩短至 12 小时。GPU 碎片化问题也得到缓解，“僵尸任务”问题得以消除。公司的总成本保持不变，但运营效率和研究人员生产力大幅提升。这一转变释放了宝贵的人力时间，使更快的实验和迭代成为可能。