この一般提供開始の発表により、Spark 4.0 は Amazon EMR Serverless、Amazon EMR on EC2、および Amazon EMR on EKS のデプロイメントオプション全体でサポートされるようになりました。この記事では、Spark Connect、Variant データ型、SQL スクリプティング、Python API の改善、ストリーミングの強化など、Amazon EMR で利用可能になった Spark 4.0 の主要な機能と、新しい emr-spark-8.0 リリースにおけるインフラストラクチャの変更について説明します。