数週間かけてトレーニングされたAIチャットボットは、基盤となるデータが古くなるため、自信を持って誤った情報を提供することができます。これは、価格変更やポリシー更新などの外部要因が発生しても、ナレッジストアが変更されない場合に起こります。標準的な検索パイプラインは、事実の正確性よりも関連性と可用性を優先するため、この問題を検出できません。その結果、AIが間違った回答を提供しているにもかかわらず、ダッシュボードが緑色のままで、システムは正しく機能しているように見えます。この問題は、モデルの問題として誤診されることが多く、チームは根本原因に対処する代わりに、AIや検索レイヤーを非難することになります。真の問題はデータエンジニアリングにあり、そこでは監視がデータの正確性よりもパイプラインの完了に焦点を当てています。これは、データの正確性、鮮度、一貫性、およびリネージを検証することを含む、データオブザーバビリティの重要な必要性を浮き彫りにしています。UberやNetflixのような企業が実証しているように、これらのデータ品質チェックを実装することは、AIシステムが信頼できる情報を提供することを保証するために不可欠です。したがって、本番のAIシステムが失敗した場合、焦点はAIモデルや検索アーキテクチャだけでなく、データパイプラインの整合性に置かれるべきです。