Amazon SageMaker contribue un transport personnalisé à la communauté OpenLineage et offre des capacités de lignée supplémentaires

AWS annonce que Amazon SageMaker a contribué un transport personnalisé appelé 'AmazonDataZoneTransport' à la communauté OpenLineage et a amélioré les capacités de lignée automatisée. Ces améliorations de lignée incluent des améliorations de l'automatisation à partir de sources telles que AWS Glue, Amazon Redshift, et la capture de lignée automatisée à partir d'outils, permettant aux scientifiques des données et aux ingénieurs de travailler plus efficacement avec leurs données et modèles. La nouvelle contribution de transport personnalisé à la communauté OpenLineage permet aux développeurs de télécharger le transport avec les plug-ins OpenLineage pour augmenter et automatiser les événements de lignée capturés à partir de systèmes OpenLineage activés. Avec cela, les clients peuvent automatiser la capture de lignée et envoyer ces événements de lignée au domaine du studio unifié SageMaker, améliorant ainsi la gouvernance des données et la traçabilité dans leurs flux de travail de données. Amazon SageMaker a également introduit des capacités de lignée automatisée améliorées à partir de diverses sources. Ces améliorations incluent un meilleur soutien aux événements de lignée à partir d'AWS Glue, d'Amazon Redshift, et de la capture de lignée automatisée à partir d'outils tels que les processus vETL et les carnets de notes. En outre, SageMaker a amélioré son soutien à la lignée SQL, en particulier pour Amazon Redshift, avec de nouvelles fonctionnalités, notamment le soutien aux procédures stockées et aux vues matérialisées. Ces améliorations permettent la capture automatique de lignée des opérations de données complexes, offrant une vue plus complète des transformations et des dépendances des données. Cette fonctionnalité est disponible dans toutes les régions AWS où Amazon SageMaker est disponible. Pour en savoir plus sur la contribution de transport personnalisé et les capacités de lignée améliorées, visitez la page Amazon SageMaker. Pour obtenir des informations détaillées sur la façon de démarrer avec la lignée à l'aide de ces nouvelles fonctionnalités, consultez la documentation utilisateur.