몇 주 동안 훈련된 AI 챗봇은 기본 데이터가 오래되어 잘못된 정보를 자신 있게 제공할 수 있습니다. 이는 가격 변경이나 정책 업데이트와 같은 외부 요인이 발생하지만 지식 저장소가 변경되지 않을 때 발생합니다. 표준 검색 파이프라인은 사실적 정확성보다 관련성과 가용성을 우선시하기 때문에 이를 감지하지 못합니다. 결과적으로 AI가 잘못된 답변을 제공하더라도 대시보드가 녹색으로 유지되므로 시스템은 올바르게 작동하는 것처럼 보입니다. 이 문제는 종종 모델 문제로 오진되어 팀이 근본 원인을 해결하는 대신 AI 또는 검색 계층을 비난하게 됩니다. 실제 문제는 데이터 엔지니어링에 있으며, 여기서 모니터링은 파이프라인 완료에 초점을 맞추고 데이터 정확성에는 초점을 맞추지 않습니다. 이는 데이터의 정확성, 최신성, 일관성 및 계보를 검증하는 것을 포함하는 데이터 관찰 가능성의 중요한 필요성을 강조합니다. Uber 및 Netflix와 같은 회사에서 입증된 이러한 데이터 품질 검사를 구현하는 것은 AI 시스템이 신뢰할 수 있는 정보를 제공하도록 보장하는 데 필수적입니다. 따라서 프로덕션 AI 시스템이 실패할 때 초점은 AI 모델이나 검색 아키텍처뿐만 아니라 데이터 파이프라인의 무결성에 맞춰져야 합니다.