この投稿では、Amazon EC2 上の Amazon EMR を使用し、Step Functions でオーケストレーションされ、EventBridge によってトリガーされる、完全に自動化されたスケジュールされた Spark 処理パイプラインを構築する方法について説明します。AWS CloudFormation を使用してこのソリューションをデプロイする方法、Amazon Simple Storage Service (Amazon S3) 内の COVID-19 公開データセットデータを処理する方法、および集計結果を Amazon S3 に保存する方法を詳しく説明します。