如何构建一个真正能准确获取事实的本地代理搜索管道

本文探讨了基础检索增强生成（RAG）在本地大语言模型（LLM）中的局限性，尤其是在事实准确性方面。文章提出代理式搜索（Agentic search）是一种更优的方法，其采用工具使用循环，使模型能够进行搜索、优化查询并综合生成答案。该方法允许 LLM 验证信息，从而解决了单次检索的不足。文章介绍了如何在单张 RTX 3090 显卡上搭建代理式搜索系统，并通过模型量化使大模型得以运行。文中概述了关键组件，包括使用 llama.cpp 或 vllm 进行模型服务、采用 SearXNG 等搜索后端，以及有效的系统提示工程。成功的关键在于精准的提示词、控制搜索迭代次数以及监控资源使用情况。文章强调了开源模型、量化技术及服务栈的进步，使得本地代理式搜索成为可行。作者指出，主要挑战已从模型规模转向工程实现，并总结这是迈向实现私有、离线且具成本效益的大语言模型使用的重要一步。