Управление ресурсами с помощью... Заметка

Управление ресурсами с помощью Apache YuniKorn™ для Apache Spark™ на AWS EKS в Pinterest

Платформа пакетной обработки Pinterest, Monarch, изначально была разработана для поддержки растущего количества рабочих нагрузок Apache Spark и MapReduce в масштабе. Однако компания приняла решение отказаться от Apache Hadoop и перейти на платформу следующего поколения на основе Kubernetes (K8s) под названием Moka. Основными проблемами, которые необходимо было решить, были изоляция приложений с помощью контейнеризации, поддержка GPU, усилия по обновлению Hadoop и поддержка сообщества Hadoop. Чтобы решить эти проблемы, Pinterest решила использовать Apache YuniKorn, который поддерживает иерархические очереди и может планировать на основе каждого приложения и каждого пользователя. Компания также внесла несколько функций и исправлений обратно в сообщество Apache YuniKorn, включая поддержку maxApplications, предотвращение вытеснения и исправление ошибки при проверке headroom. Pinterest продолжает работать с сообществом для обогащения функциональности и улучшения надежности и эффективности Apache YuniKorn. Компания также работает над полнофункциональной консолью управления ресурсами и проектирует сервис, который использует поддержку потоковой передачи событий.