Amazon EMR 现已在 Apache Spark 作业中原生支持数据质量验证。数据工程团队可在不良数据到达下游系统之前，在作业过程中直接捕获质量问题，而无需构建或维护独立的验证基础设施。由 AWS Glue 驱动的 Amazon EMR 数据质量功能免费提供，并使用与 AWS Glue 相同的声明式规则语言（数据质量定义语言，DQDL）和 API，从而在两个引擎之间提供一致的使用体验；该功能支持 Apache Iceberg、Apache Hudi 和 Delta Lake，并适用于 EC2、EKS 和无服务器部署模式。借助此功能，您可以在 Spark 脚本中编写验证规则，或引用存储在 AWS Glue 数据目录中的规则，并在管道的任何阶段应用这些规则，例如读取数据之后、转换过程中或处理完成之后。提供 30 多种规则类型，包括与历史运行结果进行比较的动态规则，以及基于机器学习的异常检测功能，可在不指定固定阈值的情况下跟踪随时间变化的数据漂移。Amazon EMR 数据质量提供了选择最适合您需求的验证框架的灵活性。您可以根据质量评估结果采取相应措施，例如失败整个管道、过滤无效记录，或将它们路由至隔离区。结果将在数据集、规则和行级别生成，从而帮助您轻松识别导致质量失败的记录或规则。Amazon EMR 数据质量现已在 AWS 运行环境中的 Apache Spark（emr-spark-8.1.0）上可用，覆盖所有 AWS 商业区域、AWS GovCloud（美国）区域和 AWS 中国区域。要开始使用，请访问 Amazon EMR 数据质量文档，为您的 EMR 工作负载的 Spark 脚本添加 DQDL 规则以进行数据质量验证。