IDC 기반 도메인에서 Apache Spark lineage가 Amazon SageMaker Unified Studio에서 이제 사용 가능합니다.

Amazon SageMaker는 IDC 기반 도메인의 SageMaker Unified Studio에서 Amazon EMR 및 AWS Glue에서 실행되는 Apache Spark 작업에 대한 데이터 계보의 정식 출시를 발표합니다. 데이터 계보는 복잡한 문제의 근본 원인을 파악하고 변경 사항의 영향을 이해하는 데 필요한 정보를 제공합니다. 이 기능은 EMR-EC2, EMR-Serverless, EMR-EKS 및 AWS Glue에서 Spark 실행을 통해 데이터 자산 및 열의 스키마 및 변환에 대한 계보 캡처를 지원합니다. 그런 다음 SageMaker Unified Studio에서 그래프 형태로 시각적으로 이 계보를 탐색하거나 API를 사용하여 쿼리할 수 있습니다. 또한 계보를 사용하여 Spark 작업 기록 전반의 변환을 비교할 수도 있습니다. Spark 계보는 모든 기존 SageMaker Unified Studio 리전에서 사용할 수 있습니다. 이러한 새로운 기능을 사용하여 계보를 시작하는 방법에 대한 자세한 내용은 설명서를 참조하십시오.