Databricks에서 프로덕션 준비된 AI 벡터 검색... 노트

Databricks에서 프로덕션 준비된 AI 벡터 검색 구축: 청킹, 임베딩, ML 파이프라인 및 RAG

데모는 항상 작동합니다. PDF를 노트북에 붙여넣고, 청크로 분할하고, 호스팅된 모델로 임베딩하고, 벡터를 인덱스에 푸시하고, 질문을 합니다. 답변이 돌아오고, 모두 고개를 끄덕이고, 프로토타입은 팀 채널에서 엄지척을 받습니다. 그런 다음 누군가가 대부분의 RAG 프로젝트를 끝내는 질문을 합니다. 문서가 변경되면 어떻게 되나요?저는 팀이 벡터 검색 프로토타입을 오후에 출시하고 실제 실행 가능한 것으로 만드는 데 3개월을 보내는 것을 보았습니다. 어려운 부분은 유사성 수학이 아니었습니다. 그것은 그 아래의 지루한 운영 현실이었습니다. 매일 밤 편집되는 문서, 조용히 오래된 인덱스, 새 버전이 나오는 임베딩 모델, 그리고 어떤 답변에 어떤 행이 사용되었는지 정확히 알고 싶어하는 거버넌스 팀이었습니다.