Компания AI21 Labs, ведущий разработчик в области искусственного интеллекта, столкнулась со значительными трудностями в управлении своими вычислительными ресурсами GPU. Высокая загрузка кластеров Google Kubernetes Engine (GKE) приводила к ручному планированию и длительному ожиданию критически важных задач обучения моделей. Ранее команды согласовывали выделение ресурсов через канал в Slack, что вызывало узкие места и фрагментацию доступных GPU. В результате высокоприоритетные задачи задерживались до 72 часов.Для решения этих проблем AI21 Labs внедрила Google Cloud AI Hypercomputer и интегрировала его с планировщиком с открытым исходным кодом Kueue. Это решение оптимизировало процесс планирования, значительно сократив ручное вмешательство. Внедрение Kueue позволило автоматически оркестрировать различные рабочие нагрузки, включая обучение и инференс. Кроме того, AI21 Labs сотрудничала с командой Kueue для разработки новых функций, таких как Admission Fair Sharing (AFS).AFS помогает обеспечить справедливое распределение вычислительных ресурсов между командами. Также была реализована топологически-осведомленная планировка, предотвращающая размещение задач там, где они не могут быть выполнены. Эти улучшения привели к значительному сокращению времени ожидания высокоприоритетных задач с 72 часов до всего лишь 12. Фрагментация GPU также уменьшилась, а проблема "зомби-задач" была устранена. Общая стоимость компании осталась прежней, но ее операционная эффективность и продуктивность исследователей значительно возросли. Этот переход высвободил ценное время персонала, позволив ускорить эксперименты и итерации.