데이터가 실제로 살아있는 곳제가 일해본 모든 기업은 같은 문제에 부딪힙니다. 산더미 같은 데이터. 웨어하우스, 티켓팅 시스템, PDF, 오래된 이메일 아카이브. 그 데이터의 대부분은 AI가 사용할 준비가 되어 있지 않습니다. 리더십은 정책과 제품 사양에 대한 질문에 답할 수 있는 챗봇을 원합니다. 하지만 아무도 데이터가 어디에 있는지 또는 어떻게 준비해야 하는지 모릅니다. 더 큰 모델이 그 문제를 해결해주지 않습니다. 그것은 데이터 엔지니어링으로 해결됩니다. 계속해서 나타나는 패턴검색 계층 없이 파운데이션 모델에 직접 연결된 챗봇. 그것은 기억에서 답하고 구체적인 내용을 틀리게 말합니다. 동일한 방식으로 관리되지 않는 다섯 개의 다른 시스템에 저장된 문서. 한 번, 출시 시점에 계산되고 다시는 새로고침되지 않는 임베딩. 소스 문서에 대한 쓰기 권한이 있는 사람이 아무도 확인하지 않고 구축된 RAG 파이프라인.격차는 결코 모델에 있지 않습니다. 그것은 모델이 질문을 보기 전에 일어나는 일입니다.