В этой статье мы обсудим, как построить полностью автоматизированный, запланированный конвейер обработки Spark с использованием Amazon EMR на EC2, оркестрированный с помощью Step Functions и запускаемый EventBridge. Мы рассмотрим, как развернуть это решение с помощью AWS CloudFormation, обрабатывать данные общедоступного набора данных COVID-19 в Amazon Simple Storage Service (Amazon S3) и хранить агрегированные результаты в Amazon S3.