Apache Spark Connect устраняет разрыв между этими двумя мирами: вы разрабатываете на локальном Python, но выполняете код в AWS Glue на реальных данных. Сегодня интерактивные сессии AWS Glue нативно поддерживают Spark Connect. Вы можете подключаться из любой среды, поддерживающей удаленный API PySpark (remote()), включая VS Code, PyCharm, ноутбуки Amazon SageMaker Unified Studio и автономные приложения Python. Вам не нужно устанавливать специализированные ядра или управлять инфраструктурой кластера.