该项目最初作为本地部署大语言模型的实验启动，旨在实现数据隐私并摆脱对云端模型提供商的依赖。作者购买了一台 LazyCat AI Pod，并部署了 Qwen 32B 模型的蒸馏版本，但很快发现该模型能力有限，响应缓慢且内容过时。作者尝试构建一个通用聊天机器人，但使用体验令人沮丧，无法与云端模型竞争。将范围缩小至体育比分聊天机器人似乎更具可行性，但模型仍缺乏对当前比分和体育规则的知识。作者收集了规则与文档，并通过向量检索将其集成到问答工作流中，但这种方法存在局限性，例如上下文长度限制和信息过载。作者还尝试了多模型路由，但这并未解决底层的架构问题。随后添加了一个决策流节点，用于根据用户意图选择适当的比分 API，但实现依赖于关键词匹配，被证明在处理多样化的问题类型和对话语境时不足够。该项目凸显了构建实用且有效的问答系统所面临的挑战，包括对鲁棒的意图识别、API 规划和上下文工程的必要性。作者的经历表明，仅将模型本地部署并不能保证实际价值，必须深入理解系统的架构与局限性，才能开发出有用且可靠的應用。该项目最终使作者更加认识到构建成功问答系统的复杂性，以及精心设计与实施的重要性。