現代のデータプラットフォームは、重要な意思決定、アプリケーション、分析システム、AIワークロードの実行において、ますます責任を負うようになっています。組織がより多くのビジネスプロセスをデータ駆動型アーキテクチャに移行するにつれて、データパイプラインの信頼性は、アプリケーションサービスの信頼性と同じくらい重要になります。大声で失敗するパイプラインは、通常、診断が容易です。ジョブの失敗、依存関係の破損、またはサービスの利用不可は、通常、アラートを生成し、エンジニアを特定の問題に誘導します。より困難な問題は、実行を全く中断しないものです。パイプラインは、不正確、不完全、または誤解を招くデータを生成しながら、正常に完了することができます。