Apache Spark Connect는 이 두 세계의 간극을 메웁니다. 즉, 로컬 Python에서 개발하지만 실제 데이터에 대해 AWS Glue에서 실행합니다. 오늘날 AWS Glue 대화형 세션은 Spark Connect를 네이티브로 지원합니다. VS Code, PyCharm, Amazon SageMaker Unified Studio 노트북 및 독립형 Python 애플리케이션을 포함하여 PySpark remote() API를 지원하는 모든 환경에서 연결할 수 있습니다. 전문 커널을 설치하거나 클러스터 인프라를 관리할 필요가 없습니다.