Amazon EMR は、Apache Spark ジョブ内でネイティブにデータ品質を検証できるようになりました。データエンジニアリングチームは、個別の検証インフラストラクチャを構築または維持することなく、質の低いデータがダウンストリームシステムに到達する前に、インラインで品質の問題を検出できます。AWS Glue によって強化された Amazon EMR Data Quality は、追加費用なしで利用でき、両方のエンジンで一貫したエクスペリエンスを提供するために、AWS Glue と同じ宣言型ルール言語（Data Quality Definition Language）および API を使用します。また、EC2、EKS、および Serverless デプロイメントモードで、Apache Iceberg、Apache Hudi、および Delta Lake と連携します。この機能を使用すると、Spark スクリプトで検証ルールを作成したり、AWS Glue Data Catalog に保存されているルールを参照したりしてから、パイプラインの任意のステージ（データの読み取り後、変換中、または処理後）に適用できます。動的なルール（履歴実行と比較するルールや、固定しきい値を指定せずに時間の経過に伴うドリフトを追跡するための ML ベースの異常検出を含む）を含む 30 以上のルールタイプにより、Amazon EMR Data Quality は、ニーズに合った検証フレームワークを選択できる柔軟性を提供します。品質評価の結果に基づいて、パイプラインの失敗、無効なレコードのフィルタリング、またはそれらを隔離キューにルーティングするなどのアクションを実行できます。結果は、データセット、ルール、および行レベルで生成されるため、どのレコードまたはルールが品質障害の原因となっているかを簡単に特定できます。Amazon EMR Data Quality は、すべての AWS Commercial、AWS GovCloud (US)、および AWS China リージョンで、Apache Spark（emr-spark-8.1.0）の AWS ランタイムで利用可能です。開始するには、Amazon EMR Data Quality のドキュメントにアクセスし、EMR ワークロードの Spark スクリプトにデータ品質検証のための DQDL ルールを追加してください。