将 Amazon EMR Spark 作业的数据血缘捕获至 ... 笔记

将 Amazon EMR Spark 作业的数据血缘捕获至 Amazon SageMaker Unified Studio

在本篇博客中,您将了解一个实用的分步示例,展示如何直接从运行在 Amazon EMR 上的 Spark 作业捕获并追踪数据谱系,并将其直接集成到 Amazon SageMaker Catalog 中,使用 OpenLineage 实现。您将看到谱系元数据如何自动流转,并探索在 Amazon SageMaker Unified Studio 中跨工作流的数据关系与依赖。
CdXz5zHNQW_Vv6j0u91va.png