Automatisez et orchestrez les tâches Amazon EMR à l'aide d'AWS Step Functions et d'Amazon EventBridge
Dans cet article, nous expliquons comment construire un pipeline de traitement Spark entièrement automatisé et planifié à l'aide d'Amazon EMR sur EC2, orchestré avec Step Functions et déclenché par EventBridge. Nous expliquons comment déployer cette solution à l'aide d'AWS CloudFormation, traiter les données publiques du jeu de données COVID-19 dans Amazon Simple Storage Service (Amazon S3) et stocker les résultats agrégés dans Amazon S3.