Amazon EMR теперь нативно проверяет качество данных в заданиях Apache Spark. Команды инженеров данных могут выявлять проблемы с качеством на лету, прежде чем некачественные данные попадут в нижестоящие системы, без необходимости создавать или поддерживать отдельную инфраструктуру для валидации. Amazon EMR Data Quality, работающий на базе AWS Glue, доступен без дополнительной платы и использует тот же декларативный язык правил (Data Quality Definition Language) и API, что и AWS Glue, для обеспечения единообразного опыта работы с обоими движками. Он работает с Apache Iceberg, Apache Hudi и Delta Lake в режимах развертывания EC2, EKS и Serverless.С помощью этой функции вы можете создавать правила валидации в своих скриптах Spark или ссылаться на правила, хранящиеся в AWS Glue Data Catalog, а затем применять их на любом этапе вашего конвейера, например, после чтения данных, во время преобразования или после обработки. Благодаря более чем 30 типам правил, включая динамические правила, которые сравниваются с историческими запусками, и обнаружение аномалий на основе машинного обучения для отслеживания отклонений с течением времени без указания фиксированных пороговых значений, Amazon EMR Data Quality обеспечивает гибкость выбора фреймворка валидации, соответствующего вашим потребностям. Вы можете выполнять такие действия, как остановка конвейера, фильтрация недопустимых записей или их перенаправление в карантин на основе результатов оценки качества. Результаты генерируются на уровне набора данных, правила и строки, что позволяет легко определить, какие записи или правила вызывают сбои в качестве.Amazon EMR Data Quality доступен в среде выполнения AWS для Apache Spark (emr-spark-8.1.0) во всех коммерческих регионах AWS, AWS GovCloud (US) и регионах AWS China.Чтобы начать работу, посетите документацию Amazon EMR Data Quality и добавьте правила DQDL для проверки качества данных в скрипты Spark ваших рабочих нагрузок EMR.