Теперь отслеживание Apache Spark доступно в Amazon SageMaker Unified Studio для доменов на основе IDC.

Amazon SageMaker объявляет об общей доступности Data Lineage для заданий Apache Spark, выполняемых в Amazon EMR и AWS Glue, в SageMaker Unified Studio для доменов на базе IDC. Data Lineage предоставляет информацию, необходимую для выявления первопричины сложных проблем и понимания последствий изменений. Эта функция поддерживает отслеживание схемы и преобразований активов данных и столбцов из выполнений Spark в EMR-EC2, EMR-Serverless, EMR-EKS и AWS Glue. Затем вы можете визуально изучить эту трассировку в виде графа в SageMaker Unified Studio или запросить ее с помощью API. Вы также можете использовать трассировку для сравнения преобразований в истории заданий Spark. Трассировка Spark доступна во всех существующих регионах SageMaker Unified Studio. Для получения подробной информации о том, как начать работу с трассировкой, используя эти новые функции, обратитесь к документации.