Amazon EMR spark 작업의 데이터 계보를 A... 노트

Amazon EMR spark 작업의 데이터 계보를 Amazon SageMaker Unified Studio로 캡처

이 게시물에서는 Amazon EMR에서 실행되는 Spark 작업의 데이터 계보를 OpenLineage를 사용하여 Amazon SageMaker Catalog로 직접 캡처하고 추적하는 방법을 보여주는 실용적인 단계별 예제를 살펴보겠습니다. 계보 메타데이터가 자동으로 흐르는 방식을 확인하고 Amazon SageMaker Unified Studio에서 워크플로 전반의 데이터 관계 및 종속성을 탐색할 수 있습니다.
CdXz5zHNQW_Vv6j0u91va.png