Постройте свой собственный космодром: Местная оценка RAG с помощью Meta CRAG

Статья описывает создание локального эталонного теста RAG, чтобы избежать зависимости от дорогих API и внешних серверов при разработке системы RAG. Она представляет систему, использующую Ollama и Ray для локального вывода, отражающую API OpenAI для совместимости с существующими эталонами. Архитектура использует класс RAGOpenAICompatibleModel, позволяющий использовать разные локальные модели, просто изменив ключ. Ray используется для параллельной обработки HTML-данных для повышения эффективности и снижения использования ресурсов. Очистка HTML, включая удаление тегов и разделение текста, еще больше оптимизирует контекстное окно и повышает точность. Статья представляет результаты тестирования нескольких моделей с помощью этого каркаса, раскрывая их производительность в сценарии RAG. Анализ подчеркивает неудачу модели Qwen из-за подхода Chain-of-Thought, что приводит к галлюцинациям. Автор предоставляет репозиторий GitHub с конфигурациями Docker и скриптами для простой установки и экспериментов с этим локальным эталоном. Автор заключает, что этот подход позволяет проводить экономически эффективную и безопасную разработку и тестирование RAG. Наконец, автор планирует сравнить локальный эталон CRAG с метриками, такими как RAGas, в будущих исследованиях.