Amazon SageMaker вносит вклад в сообщество OpenLineage, предоставляя пользовательский транспорт, и предлагает дополнительные возможности для отслеживания происхождения данных

AWS объявляет о том, что Amazon SageMaker предоставил сообществу OpenLineage специальный транспорт AmazonDataZoneTransport и расширил возможности автоматизированного прочтения доменов. Эти усовершенствования включают в себя улучшения автоматизации из таких источников, как AWS Glue, Amazon Redshift, и автоматический захват происхождения данных из инструментов, что позволяет специалистам по обработке и анализу данных и инженерам более эффективно работать со своими данными и моделями. Новый вклад в сообщество OpenLineage позволяет сборщикам загружать транспорт вместе с плагинами OpenLineage для дополнения и автоматизации событий происхождения, захваченных из систем с поддержкой OpenLineage. Благодаря этому клиенты могут автоматизировать захват данных и отправлять эти события в домен SageMaker Unified Studio, улучшая управление данными и отслеживаемость в своих рабочих процессах обработки данных. Кроме того, в Amazon SageMaker реализованы расширенные возможности автоматизированного управления происхождением данных из различных источников. Эти улучшения включают улучшенную поддержку событий происхождения данных из AWS Glue, Amazon Redshift и автоматический захват событий происхождения из таких инструментов, как процессы vETL и блокноты. Кроме того, SageMaker улучшил поддержку происхождения SQL, особенно для Amazon Redshift, добавив новые функции, включая поддержку хранимых процедур и материализованных представлений. Эти усовершенствования обеспечивают автоматический захват происхождения сложных операций с данными, обеспечивая более полное представление о преобразованиях данных и зависимостях. Эта функция доступна во всех регионах AWS, где доступен Amazon SageMaker. Чтобы узнать больше о вкладе пользовательского транспорта и расширенных возможностях происхождения, посетите Amazon SageMaker. страница. Подробные сведения о том, как начать работу с происхождением с помощью этих новых функций, см. в пользовательской документации.