이 튜토리얼은 콜팔리(ColPali)라는 비전 기반 모델을 사용하여 검색 증강 생성 (RAG) 파이프라인을 구축하는 방법을 설명합니다. 콜팔리는 멀티모달 데이터로 기존 RAG 시스템이 직면하는 문제점을 해결합니다. 기존 RAG는 이미지가 포함된 문서와 테이블이 있는 경우 데이터를 분할하고 컨텍스트를 잃어버리는 어려움을 겪습니다. 콜팔리는 기존 방법과 달리 전체 문서 페이지를 시각적으로 처리하여 비전-언어 모델(VLMs)을 활용하여 공간적 관계와 컨텍스트를 보존합니다. 이 시스템은 문서를 패치로 나누고, VLMs를 사용하여 임베딩을 생성하고, 쿼리와 문서 패치 간의 유사도 점수를 계산합니다. 이미지 인코더, 텍스트 인코더, LLM과 같은 구성 요소를 활용하여 시각적 및 텍스트 데이터를 모두 이해하고 효율적인 검색을 위한 풍부한 임베딩을 생성합니다. 튜토리얼은 또한 응답 생성을 위해 상위 K개의 관련 페이지를 순위 지정하고 선택하기 위해 ColBERT 점수 행렬을 계산하는 방법을 다룹니다. CrewAI를 통합하여 전문화된 AI 에이전트가 검색, 추론 및 응답 생성을 처리하는 협업적인 에이전트 워크플로우를 만듭니다. 설정에는 필요한 라이브러리 설치 및 Hugging Face에서 ColPali 모델 로딩, 효율적인 처리를 위해 GPU 또는 MPS 활용이 포함됩니다. 튜토리얼은 NCERT의 Class X Science 책을 샘플 데이터 세트로 사용합니다. 마지막으로, 튜토리얼은 Python을 사용하여 이 시스템의 실제 구현을 강조합니다.