在 AWS Glue 交互式会话中引入 Apache Spa... 笔记

在 AWS Glue 交互式会话中引入 Apache Spark Connect 支持

Apache Spark Connect 弥合了这两个世界之间的差距:您可以在本地使用 Python 进行开发,但在 AWS Glue 上针对实际数据执行任务。如今,AWS Glue 交互式会话已原生支持 Spark Connect。您可以从任何支持 PySpark remote() API 的环境进行连接,包括 VS Code、PyCharm、Amazon SageMaker Unified Studio 笔记本以及独立的 Python 应用程序。您无需安装专用内核或管理集群基础设施。
CdXz5zHNQW_1vk3wagdp8.png