AI21 Labs는 선도적인 AI 기업으로, GPU 컴퓨팅 리소스 관리에서 상당한 어려움을 겪었습니다. Google Kubernetes Engine(GKE) 클러스터의 높은 활용도는 수동 스케줄링과 중요 모델 학습 작업의 긴 대기 시간으로 이어졌습니다. 이전에는 팀들이 Slack 채널을 통해 용량을 협상했는데, 이는 병목 현상과 사용 가능한 GPU의 파편화를 야기했습니다. 이러한 상황으로 인해 우선순위가 높은 작업은 최대 72시간의 지연을 경험했습니다.이러한 문제를 해결하기 위해 AI21 Labs는 Google Cloud AI Hypercomputer를 채택하고 이를 오픈 소스 스케줄러인 Kueue와 통합했습니다. 이 솔루션은 스케줄링 프로세스를 간소화하여 수동 개입을 크게 줄였습니다. Kueue의 채택은 학습 및 추론을 포함한 다양한 워크로드의 자동 오케스트레이션을 가능하게 했습니다. 또한 AI21 Labs는 Kueue 팀과 협력하여 Admission Fair Sharing(AFS)과 같은 새로운 기능을 개발했습니다.AFS는 팀 간 컴퓨팅 리소스의 공평한 분배를 보장하는 데 도움이 됩니다. Topology Aware Scheduling도 구현되어 작업이 실행될 수 없는 곳에 배치되는 것을 방지했습니다. 이러한 개선으로 인해 우선순위가 높은 작업의 대기 시간은 72시간에서 12시간으로 크게 단축되었습니다. GPU 파편화도 감소했으며 "좀비 작업" 문제는 제거되었습니다. 회사의 총 비용은 동일하게 유지되었지만 운영 효율성과 연구원 생산성은 크게 향상되었습니다. 이러한 변화는 귀중한 인력 시간을 확보하여 더 빠른 실험과 반복을 가능하게 했습니다.