В этой статье мы подробно рассмотрим практическую миграцию PySpark с Spark 3.5 на Spark 4.0 на Amazon EMR Serverless с использованием AWS Spark Upgrade Agent. Вы увидите, как агент итеративно проверяет ваше приложение на реальном приложении Amazon EMR Serverless, автоматически диагностируя и устраняя сбои из журналов Amazon CloudWatch до тех пор, пока задание не будет успешно выполнено.