Apache YuniKorn™を使用したApache Sp... ノート

Apache YuniKorn™を使用したApache Spark™のリソース管理:PinterestにおけるAWS EKSでの実践

ピンタレストのバッチ処理プラットフォームであるMonarchは、当初、Apache SparkやMapReduceなどのワークロードを大規模にサポートするために設計されました。しかし、会社はApache Hadoopから次世代のKubernetes(K8s)ベースのプラットフォームであるMokaに移行することを決定しました。解決しなければならなかった主な問題は、コンテナ化によるアプリケーションの分離、GPUサポート、Hadoopのアップグレードの労力、Hadoopコミュニティのサポートでした。これらの課題を解決するために、ピンタレストは階層型キューをサポートし、アプリケーションごと、ユーザーごとにスケジューリングできるApache YuniKornを使用することを決定しました。会社はまた、maxApplicationsのサポート、プリエンプションの防止、ヘッドルームのチェック時に発生するバグの修正など、複数の機能と修正をApache YuniKornコミュニティに提供しました。ピンタレストは、Apache YuniKornの機能を豊富にし、信頼性と効率を向上させるためにコミュニティと協力し続けています。会社はまた、フル機能のリソース管理コンソールの開発と、イベントストリーミングサポートを活用したステートフルサービスを設計しています。