Чат-боты с искусственным интеллектом, обученные в течение нескольких недель, могут уверенно предоставлять неверную информацию, поскольку базовые данные устаревают. Это происходит, когда возникают внешние факторы, такие как изменения цен или обновления политик, но база знаний остается неизменной. Стандартные конвейеры поиска не могут обнаружить это, поскольку они отдают приоритет релевантности и доступности над фактической точностью. Следовательно, системы кажутся работающими правильно, поскольку панели мониторинга остаются зелеными, даже если ИИ дает неверные ответы. Эта проблема часто ошибочно диагностируется как проблема модели, что приводит к тому, что команды обвиняют ИИ или слой поиска вместо устранения первопричины. Реальная проблема заключается в инженерии данных, где мониторинг фокусируется на завершении конвейера, а не на правильности данных. Это подчеркивает критическую потребность в наблюдаемости данных, которая включает проверку правильности, свежести, согласованности и происхождения данных. Внедрение этих проверок качества данных, как продемонстрировали такие компании, как Uber и Netflix, необходимо для обеспечения того, чтобы системы ИИ предоставляли достоверную информацию. Поэтому, когда производственные системы ИИ выходят из строя, основное внимание должно уделяться целостности конвейера данных, а не только модели ИИ или архитектуре поиска.