AWS Spark Upgrade Agent를 사용하여 ... 노트

AWS Spark Upgrade Agent를 사용하여 PySpark를 Spark 3.5에서 Spark 4.0으로 업그레이드

이 게시물에서는 AWS Spark Upgrade Agent를 사용하여 Amazon EMR Serverless에서 Spark 3.5에서 Spark 4.0으로의 실습 PySpark 마이그레이션을 진행합니다. 에이전트가 라이브 Amazon EMR Serverless 애플리케이션에서 애플리케이션을 반복적으로 검증하고, 작업이 성공할 때까지 Amazon CloudWatch 로그에서 발생하는 오류를 자동으로 진단하고 해결하는 과정을 볼 수 있습니다.
CdXz5zHNQW_Ko19pdOw9A.jpeg