AWS Glue, Apache Spark 작업에 대한 ... 노트

AWS Glue, Apache Spark 작업에 대한 자동 버전 업그레이드 발표

AWS Glue는 자동 버전 업그레이드를 도입하여 Apache Spark 작업을 수동 조정 없이 최신 AWS Glue 런타임으로 최신 상태로 유지하는 기능을 제공합니다. 지원되는 런타임으로 최신 상태를 유지하면 작업에 최신 보안 패치, 성능 개선 사항 및 Apache Iceberg와 같은 진화하는 테이블 형식에 대한 지원이 제공됩니다. 자동 업그레이드에는 업그레이드된 런타임과의 호환성을 위해 작업을 평가하고, 더 새로운 버전에서 작업을 실행하기 전에 동의를 얻고, 각 작업의 설정된 출력 프로필에 대해 업그레이드된 작업 실행을 검증하는 등 여러 수준의 검증이 포함되므로 작업은 적절한 안전 장치가 마련된 상태로 업그레이드됩니다.작업의 버전을 "자동"으로 설정하면 한때 몇 주간의 계획 및 실행이 필요했던 업그레이드가 이제 자동으로 이루어집니다. 플랫폼 팀은 개별 작업 소유자를 추적하지 않고도 대규모 플릿 전체에서 런타임 버전을 표준화할 수 있으며, 중앙 업그레이드 팀이 없는 비즈니스 단위는 작업을 수동으로 최신 상태로 유지할 수 있습니다. 각 작업은 업그레이드 전에 설정된 출력 스키마, 데이터 볼륨, 지연 시간 및 형식에 대해 검증되므로 자신 있게 진행할 수 있습니다. 코드 변경이 필요한 작업은 현재 버전에서 안전하게 계속 실행되며, AWS Glue는 직접 적용하거나 Apache Spark 업그레이드 에이전트를 사용하여 적용할 수 있는 특정 수정 사항에 대한 업그레이드 분석을 제공합니다.AWS Glue의 자동 업그레이드는 모든 AWS 상용 리전에서 사용할 수 있습니다.시작하려면 AWS Glue Studio 또는 AWS CLI, API 및 SDK를 사용하여 Apache Spark 작업을 생성하거나 업데이트할 때 AWS Glue 버전을 "자동"으로 선택하십시오. 또는 AWS Glue 스킬을 사용하여 여러 작업을 한 번에 업데이트하여 작업을 관리할 수 있습니다. 자세한 내용은 AWS Glue 설명서를 참조하십시오.