Amazon EKS 上の Amazon EMR 向け Apache YuniKorn バッチスケジューラをデプロイする
この投稿では、Kubernetesスケジューリングの基本を掘り下げ、バッチワークロードにおけるデフォルトのkube-schedulerの制限を調査し、YuniKornがこれらの課題にどのように対応するかを実演します。 Amazon EKS上のAmazon EMRのカスタムスケジューラとしてYuniKornをデプロイする方法、ジョブ送信との統合、キューと配置ルールの設定方法、リソースクォータの確立方法について説明します。また、実践的なSparkジョブの例を通じて、これらの機能を実際に動作させます。