Amazon EMR on EKS에 Apache Yuni... 노트

Amazon EMR on EKS에 Apache YuniKorn 배치 스케줄러 배포

이 게시물은 쿠버네티스 스케줄링의 기본 사항을 탐구하고, 배치 워크로드에 대한 기본 kube-scheduler의 한계를 살펴보고, YuniKorn이 이러한 문제를 어떻게 해결하는지 보여줍니다. Amazon EKS의 Amazon EMR에 YuniKorn을 사용자 지정 스케줄러로 배포하는 방법, 작업 제출과의 통합, 큐 및 배치 규칙을 구성하는 방법, 리소스 할당량을 설정하는 방법을 논의합니다. 또한 실제 Spark 작업 예제를 통해 이러한 기능을 실제 작동을 보여줍니다.
CdXz5zHNQW_ByYXuPMUse.png