AWS Glue 6.0 提供 30% 的价格降低并支持 I... 笔记

AWS Glue 6.0 提供 30% 的价格降低并支持 Iceberg v3

AWS Glue 6.0 现已全面可用,提供 30% 的价格降幅,并全面支持 Apache Iceberg v3、新版 Apache Hudi 和 Delta Lake,以及提升开发人员生产力的新功能。AWS Glue 6.0 还将运行时升级至 Apache Spark 4.1、Python 3.13 和 Scala 2.13。借助 Apache Iceberg v3,AWS Glue 6.0 新增 VARIANT 数据类型,支持半结构化数据的自动解构(shredding),从而实现更快的读取;提供用于高性能行级更新的删除向量(deletion vectors);支持空间处理所需的几何(geometry)和地理(geography)数据类型;并通过 UNKNOWN 数据类型和 DEFAULT 列值实现灵活的架构演进。Glue 6.0 还引入了多项提升开发人员生产力与性能的功能,包括消除重复编排代码的 Spark 声明式管道(Spark Declarative Pipelines)、实现亚秒级延迟的实时模式流处理(Real-Time Mode streaming),以及原生支持 Arrow 的 Python UDF 以提升 PySpark 性能。这些能力可帮助您利用 AWS Glue 实现大规模 ETL、周期性批处理工作负载、流式分析以及 AI 应用开发。AWS Glue 6.0 已在所有 AWS 商业区域、AWS GovCloud(美国)和 AWS 中国区域可用。要开始使用,请在创建新任务时,从 AWS Glue 控制台或 SageMaker Unified Studio 中的版本下拉列表中选择 Glue 6.0,或使用 Spark 升级代理(Spark Upgrade Agent)迁移现有任务。欲了解更多信息,请访问 AWS Glue 文档和 AWS Glue 定价页面。