我构建的架构 vs. 我可部署的架构
作者在受一场竞赛启发而形成的独特金融推理方法驱动下,开发了 Vicquant,一款离线金融顾问应用。Vicquant 的 intended 设计采用双本地模型架构:利用 Llama-3.1-8B-Instruct 进行深度分析,并以 Phi-3.5-mini 作为更快的备用模型,所有计算均通过 llama.cpp 在用户设备上本地运行。这种拆分是必要的,因为单一模型难以同时优化推理质量与响应速度。该离线功能的架构与逻辑已在配备 8GB RAM 的硬件上构建并测试完毕。然而,当前的托管方案不足以在生产环境中运行这些本地模型。为使应用具备功能性,作者将 Vicquant 连接至 OpenRouter,使其能够通过互联网提供 AI 响应,以支持已部署的演示版本。这意味着当前演示版本需要网络连接,且离线模式已禁用。作者对此变更保持透明,以维护可信度,并突显因成本导致的“设计架构”与“可部署架构”之间差距这一普遍问题。应用的核心金融分析功能,包括指标计算、信号生成与回测,不受影响,因其采用确定性 Python 实现,而非 AI 计算。回测关卡要求信号在历史数据中证明自身,无论用于解释的 AI 模型为何,该关卡均保留。一旦解决托管成本限制,将重新启用本地推理,届时将发布更新通知。