Развертывание пакетного планировщика Apache YuniKorn для Amazon EMR на EKS
Этот пост исследует основы планирования в Kubernetes, рассматривает ограничения стандартного планировщика kube-scheduler для пакетных рабочих нагрузок и демонстрирует, как YuniKorn решает эти проблемы. Мы обсудим, как развернуть YuniKorn в качестве пользовательского планировщика для Amazon EMR на EKS, его интеграцию с отправкой заданий, как настроить очереди и правила размещения, а также как установить квоты на ресурсы. Мы также покажем эти функции в действии на практических примерах заданий Spark.
kube-schedulerдля пакетных рабочих нагрузок и демонстрирует, как YuniKorn решает эти проблемы. Мы обсудим, как развернуть YuniKorn в качестве пользовательского планировщика для Amazon EMR на EKS, его интеграцию с отправкой заданий, как настроить очереди и правила размещения, а также как установить квоты на ресурсы. Мы также покажем эти функции в действии на практических примерах заданий Spark.