В этой статье мы рассмотрим, как использовать Amazon EMR, AWS Cloud Development Kit (AWS CDK) и Data Solutions Framework (DSF) на AWS для оптимизации процесса разработки, от настройки локальной среды разработки до развертывания бессерверной инфраструктуры Spark и реализации конвейера CI/CD для автоматизированного тестирования и развертывания.