Amazon SageMaker Unified Studio теперь поддерживает отслеживание происхождения данных, совместимое с OpenLineage, в доменах на основе IAM, собирая события происхождения из заданий Apache Spark, выполняемых на Amazon EMR, AWS Glue, SageMaker Visual ETL и в блокнотах. Эта возможность уже доступна в доменах на основе IAM Identity Center. Интерактивный граф происхождения предоставляет агрегированное визуальное представление перемещения данных от источника к потреблению, с настраиваемой глубиной графа, режимом временной метки событий для подробного отслеживания на уровне столбцов и представлением только наборов данных для упрощенной визуализации. Как для доменов на основе IAM, так и для доменов на основе IAM Identity Center, вы можете программно публиковать, запрашивать и управлять происхождением данных из совместимых с OpenLineage приложений. Теперь вы также можете удалять опубликованные события с помощью API DeleteLineageEvent.Эта функция доступна во всех регионах AWS, где доступен Amazon SageMaker Unified Studio. Чтобы начать работу, ознакомьтесь с документацией и справочником по API Amazon SageMaker Unified Studio.