나만의 우주 기지 건설하기: Meta CRAG를 이용한 로컬 RAG 평가

이 기사는 비싼 API와 외부 서버에 대한 의존도를 줄이기 위해 로컬 RAG 벤치마크를 구축하는 방법에 대해 설명합니다. 기사는 Ollama와 Ray를 사용하여 로컬 추론을 수행하는 시스템을 소개하며, 기존 벤치마크와의 호환성을 위해 OpenAI API를 미러링합니다. 아키텍처는 RAGOpenAICompatibleModel 클래스를 활용하여 단순히 키를 변경함으로써 다양한 로컬 모델을 사용할 수 있도록 합니다. Ray는 효율성을 개선하고 리소스 사용량을 줄이기 위해 HTML 데이터의 병렬 처리에 사용됩니다. 태그 제거 및 텍스트 분할을 포함한 HTML 정리 작업은 컨텍스트 창을 최적화하고 정확도를 향상시킵니다. 기사는 이 프레임워크를 사용하여 여러 모델을 테스트한 결과를 제시하며, RAG 시나리오에서 모델의 성능을 보여줍니다. 분석은 Qwen 모델의 Chain-of-Thought 접근 방식으로 인한 실패를 강조하며, 이는 환각을 유발합니다. 저자는 Docker 구성 및 스크립트가 포함된 GitHub 리포지토리를 제공하여 이 로컬 벤치마크를 쉽게 배포하고 실험할 수 있도록 합니다. 저자는 이 접근 방식이 비용 효율적이고 보안이 높은 RAG 개발 및 테스트를 가능하게 한다고 결론지으며, 향후 연구에서 로컬 CRAG 벤치마크를 RAGas와 같은 지표와 비교할 계획이라고 밝혔습니다.