AWS Glue 宣布为 Apache Spark 作业提供自动版本升级
AWS Glue 现已推出自动版本升级功能,该功能可在无需人工协调的情况下,使您的 Apache Spark 作业始终运行在最新的 AWS Glue 运行时上。保持使用受支持的运行时,可为您的作业提供最新的安全补丁、性能改进以及对不断演进的表格式(如 Apache Iceberg)的支持。自动升级包含多个层级的验证,包括评估作业与升级后运行时的兼容性、在执行作业前获取您的同意,以及将升级后的作业运行结果与每个作业既定的输出配置文件进行验证,从而确保作业在具备适当防护机制的前提下完成升级。通过将作业版本设置为“自动”,以往需要数周规划和执行的升级现在可自动完成。平台团队可在大型作业集群中统一运行时版本,而无需逐个追踪作业负责人;没有集中升级团队的业务单元也可实现作业自动更新。每次升级前,系统均会针对作业既定的输出模式、数据量、延迟和格式进行验证,让您能够信心十足地推进升级。需要代码变更的作业将继续安全地运行在当前版本上,同时 AWS Glue 会提供升级分析报告,其中包含您可直接应用或通过 Apache Spark 升级代理实施的特定修复方案。AWS Glue 的自动升级功能已在所有 AWS 商业区域可用。要开始使用,请在通过 AWS Glue Studio、AWS CLI、API 或 SDK 创建或更新 Apache Spark 作业时,将 AWS Glue 版本设置为“自动”。或者,您可以使用 AWS Glue 技能一次性更新多个作业以管理您的作业。如需了解更多详情,请访问 AWS Glue 文档。