Amazon SageMaker Unified Studio теперь поддерживает профилирование данных и обнаружение аномалий на базе AWS Glue Data Quality. Специалисты по данным, инженеры и аналитики могут генерировать статистические профили своих данных, чтобы понять их структуру и полноту, а также отслеживать, как эти статистические данные меняются со временем. Обнаружение аномалий помогает выявлять, когда точки данных отклоняются от исторических закономерностей, не требуя предварительно заданных пороговых значений или пользовательских правил. Эти возможности доступны как для данных в состоянии покоя в таблицах каталога, так и для данных в процессе передачи в рамках заданий Visual ETL.С этим запуском выделенная вкладка "Профиль данных" в таблицах каталога предоставляет профилирование по запросу и по расписанию, которое вычисляет статистику на уровне набора данных и на уровне столбцов. По мере накопления истории профилирования обнаружение аномалий создает базовую линию ожидаемого поведения и помечает точки данных, которые выходят за пределы прогнозируемого диапазона. Это особенно полезно, когда вы можете не знать конкретных пороговых значений, или когда ожидаемые значения меняются со временем, и фиксированные правила могут устареть. Для данных в процессе передачи та же статистика профилирования и обнаружение аномалий доступны на странице результатов любого задания Visual ETL с преобразованием "Оценить качество данных".Эта функция доступна во всех регионах AWS, где доступен Amazon SageMaker Unified Studio. Чтобы узнать больше, посетите документацию Amazon SageMaker Unified Studio.