现代数据平台正越来越多地承担为关键决策、应用程序、分析系统和 AI 工作负载提供动力的职责。随着组织将更多业务流程迁移至数据驱动架构，数据管道的可靠性已与应用服务的可靠性同等重要。明显失败的管道通常易于诊断：失败的作业、损坏的依赖项或不可用的服务通常会生成警报，并将工程师引导至具体问题。而更棘手的问题则是那些完全未中断执行的管道。管道可能成功完成，却输出了错误、不完整或具有误导性的数据。