Ressourcen-Management mit Apac... Notiz

Ressourcen-Management mit Apache YuniKorn™ für Apache Spark™ auf AWS EKS bei Pinterest

Die Batch-Verarbeitungsplattform von Pinterest, Monarch, wurde ursprünglich entwickelt, um die wachsende Anzahl von Apache Spark- und MapReduce-Workloads im großen Maßstab zu unterstützen. Allerdings entschied sich das Unternehmen, von Apache Hadoop auf eine nächste Generation von Kubernetes (K8s) basierende Plattform namens Moka umzustellen. Die Hauptprobleme, die gelöst werden mussten, waren die Anwendungs-Isolation durch Containerisierung, die Unterstützung von GPUs, der Aufwand für Hadoop-Updates und die Unterstützung der Hadoop-Community. Um diese Herausforderungen zu meistern, entschied sich Pinterest für die Verwendung von Apache YuniKorn, das hierarchische Warteschlangen unterstützt und die Planung auf Anwendungs- und Benutzerebene ermöglicht. Das Unternehmen hat auch mehrere Funktionen und Fehlerbehebungen an die Apache YuniKorn-Community zurückgegeben, darunter die Unterstützung für maxApplications, die Verhinderung von Präemption und die Behebung eines Fehlers bei der Überprüfung des verfügbaren Speicherplatzes. Pinterest arbeitet weiterhin mit der Community zusammen, um die Funktionalität zu erweitern und die Zuverlässigkeit und Effizienz von Apache YuniKorn zu verbessern. Das Unternehmen arbeitet auch an einer vollständig ausgestatteten Ressourcen-Verwaltungskonsole und an einem Zustandsbehafteten Dienst, der die Ereignis-Streaming-Unterstützung nutzt.