Databricks의 Instructed Retriever, 기존 RAG 데이터 검색 방식보다 70% 성능 향상 - 기업 메타데이터가 핵심

전통적인 RAG 시스템은 메타데이터를 효과적으로 활용하지 못해 복잡한 엔터프라이즈 데이터 검색에 어려움을 겪습니다. Databricks의 새로운 Instructed Retriever 아키텍처는 검색 및 생성 과정 전반에 걸쳐 시스템 명세를 전파함으로써 이 문제를 해결합니다. 이 새로운 접근법은 복잡한 질문 답변 과제에서 최대 70%까지 향상된다고 주장합니다. 전통적인 RAG가 쿼리를 고립된 텍스트 매칭 연습으로 취급하는 것과 달리, Instructed Retriever는 복잡한 요청을 분해합니다. 그 후 자연어 명령어를 메타데이터 추론을 위한 특정 데이터베이스 필터로 변환합니다. 또한 이 시스템은 사용자 지시의 전체 맥락을 활용하여 보다 정확한 재순위 부여를 수행합니다. 이 재설계로 AI 에이전트는 자율적으로 다면적인 검색 명령을 실행할 수 있게 되었습니다. 컨텍스트 메모리가 세션별 정보를 처리하는 반면, Instructed Retriever는 더 넓은 엔터프라이즈 데이터 코퍼스에 접근하고 처리합니다. 이 아키텍처는 현재 Databricks 에이전트 브릭의 일부로 제공되며, 처음에는 기업용 제품에 독점적으로 제공되었습니다. 풍부하고 구조화된 데이터를 가진 도메인에 큰 이점을 약속하며, AI가 기업 정보를 효과적으로 조회하고 활용할 수 있는 능력을 향상시킵니다.