Apache Spark Connectは、これら2つの世界のギャップを埋めます。ローカルのPythonで開発し、実際のデータに対してAWS Glue上で実行します。現在、AWS GlueインタラクティブセッションはSpark Connectをネイティブにサポートしています。VS Code、PyCharm、Amazon SageMaker Unified Studioノートブック、スタンドアロンPythonアプリケーションなど、PySpark remote() APIをサポートするあらゆる環境から接続できます。特別なカーネルをインストールしたり、クラスターインフラストラクチャを管理したりする必要はありません。