Amazon SageMaker leistet einen benutzerdefinierten Transportbeitrag an die OpenLineage-Community und bietet weitere Lineage-Fähigkeiten

AWS kündigt an, dass Amazon SageMaker einen benutzerdefinierten Transport namens 'AmazonDataZoneTransport' an die OpenLineage-Community beigetragen und die automatisierten Lineage-Fähigkeiten erweitert hat. Diese Lineage-Erweiterungen umfassen Verbesserungen bei der Automatisierung von Quellen wie AWS Glue, Amazon Redshift und automatisierte Lineage-Erfassung von Tools, damit Datenwissenschaftler und Ingenieure effizienter mit ihren Daten und Modellen arbeiten können. Der neue 'benutzerdefinierte Transport'-Beitrag zur OpenLineage-Community ermöglicht es Entwicklern, den Transport zusammen mit OpenLineage-Plug-ins herunterzuladen, um Lineage-Ereignisse zu erfassen und zu automatisieren, die von OpenLineage-fähigen Systemen erfasst werden. Damit können Kunden die Lineage-Erfassung automatisieren und diese Lineage-Ereignisse an das SageMaker Unified Studio-Domain senden, um die Daten Governance und Rückverfolgbarkeit innerhalb ihrer Daten-Workflows zu verbessern. Amazon SageMaker hat auch erweiterte automatisierte Lineage-Fähigkeiten von verschiedenen Quellen eingeführt. Diese Verbesserungen umfassen bessere Unterstützung für Lineage-Ereignisse von AWS Glue, Amazon Redshift und automatisierte Lineage-Erfassung von Tools wie vETL-Prozessen und Notebooks. Darüber hinaus hat SageMaker seine SQL-Lineage-Unterstützung, insbesondere für Amazon Redshift, mit neuen Funktionen wie Unterstützung für gespeicherte Prozeduren und materialisierte Ansichten verbessert. Diese Erweiterungen ermöglichen die automatische Lineage-Erfassung komplexer Datenoperationen, was einen umfassenderen Überblick über Daten-Transformationen und -Abhängigkeiten bietet. Diese Funktion ist in allen AWS-Regionen verfügbar, in denen Amazon SageMaker verfügbar ist. Um mehr über den benutzerdefinierten Transport-Beitrag und die erweiterten Lineage-Fähigkeiten zu erfahren, besuchen Sie die Amazon SageMaker-Seite. Für detaillierte Informationen darüber, wie Sie mit den neuen Funktionen beginnen können, lesen Sie die Benutzerdokumentation.