Amazon EMR은 이제 Apache Spark 작업 내에서 네이티브로 데이터 품질을 검증합니다. 데이터 엔지니어링 팀은 별도의 검증 인프라를 구축하거나 유지 관리할 필요 없이, 좋지 않은 데이터가 다운스트림 시스템에 도달하기 전에 인라인으로 품질 문제를 파악할 수 있습니다. AWS Glue를 기반으로 하는 Amazon EMR Data Quality는 추가 비용 없이 사용할 수 있으며, 두 엔진 간의 일관된 경험을 위해 AWS Glue와 동일한 선언적 규칙 언어(Data Quality Definition Language) 및 API를 사용합니다. 또한 EC2, EKS 및 Serverless 배포 모드 전반에 걸쳐 Apache Iceberg, Apache Hudi 및 Delta Lake와 함께 작동합니다.이 기능을 사용하면 Spark 스크립트에서 검증 규칙을 작성하거나 AWS Glue Data Catalog에 저장된 규칙을 참조한 다음, 데이터 읽기 후, 변환 중 또는 처리 후와 같이 파이프라인의 모든 단계에서 적용할 수 있습니다. 동적 규칙(과거 실행 결과와 비교) 및 고정 임계값을 지정하지 않고 시간 경과에 따른 드리프트를 추적하기 위한 ML 기반 이상 탐지를 포함하여 30개 이상의 규칙 유형을 통해 Amazon EMR Data Quality는 요구 사항에 맞는 검증 프레임워크를 선택할 수 있는 유연성을 제공합니다. 품질 평가 결과에 따라 파이프라인 실패, 잘못된 레코드 필터링 또는 격리 대상으로 라우팅과 같은 작업을 수행할 수 있습니다. 결과는 데이터셋, 규칙 및 행 수준에서 생성되므로 품질 실패를 유발하는 레코드 또는 규칙을 쉽게 식별할 수 있습니다.Amazon EMR Data Quality는 모든 AWS 상용, AWS GovCloud(US) 및 AWS China 리전에서 Apache Spark(emr-spark-8.1.0)용 AWS 런타임에서 사용할 수 있습니다.시작하려면 Amazon EMR Data Quality 설명서를 방문하여 EMR 워크로드의 Spark 스크립트에 데이터 품질 검증을 위한 DQDL 규칙을 추가하십시오.