많은 조직들이 문서에 갇힌 정보로 어려움을 겪고 있으며, 직원들이 특정 세부 정보를 효율적으로 찾는 것을 어렵게 만듭니다. 전통적인 수동 검색은 시간이 많이 소요되며, 상용 문서 AI 제품은 종종 불투명한 가격 책정과 데이터 상주 문제를 가지고 있습니다. 이를 해결하기 위해 저자는 오픈 소스, 자체 호스팅 가능하며 공급업체에 구애받지 않는 RAG 플랫폼인 AI-DocumentIntelligence를 개발했습니다. 이 플랫폼은 민감한 문서를 처리하기 위해 투명하고, 교체 가능하며, 감사 가능하도록 하는 것을 목표로 합니다. 핵심 기능은 문서를 수집하고, 의미 있는 청크로 분할하고, pgvector를 사용하여 PostgreSQL에 이러한 청크를 임베딩하고, 자연어 질문에 답변하는 것입니다. 주요 기능 중 하나는 간단한 구성을 통해 OpenAI 및 Anthropic과 같은 LLM 공급자 간에 전환할 수 있는 기능입니다. 기술 스택은 React, Node.js, LangChain 및 PostgreSQL을 사용하여 의도적으로 표준화되어 있으며, 이러한 기술에 익숙한 팀이 쉽게 배포할 수 있습니다. 아키텍처는 UI, API, 문서 처리 및 AI 계층을 분리하며, 검색 및 생성 프로세스는 디버깅을 용이하게 하기 위해 별도로 구분됩니다. 주요 학습 내용은 공급업체 추상화, 잘 조정된 청킹, 강력한 로컬 개발 설정의 중요성을 강조합니다. 자격 증명으로 보호되는 API를 사용하여 개발하는 것은 어려움을 야기했으며, 로컬 임베딩 모델을 사용한 검증으로 이어졌습니다. 저자는 이 프로젝트를 디지털 서비스 제공에서 발생하는 실제 워크플로우 문제에 LLM 오케스트레이션을 적용하는 더 큰 노력의 일환으로 보고 있습니다. 이 프로젝트는 로컬 개발 및 기여를 위해 GitHub에서 사용할 수 있으며, README에 자세한 설정 지침이 있습니다.