我为 AI 代理构建了一个真正会遗忘的记忆系统 笔记

我为 AI 代理构建了一个真正会遗忘的记忆系统

现有的 AI 代理记忆系统存在持续累积的问题,导致旧事实污染检索,随时间推移性能与准确性下降。该问题的根源在于 token 数量越多,结果越差,代理也越慢、越“笨”。为解决此问题,recall-sqlite 被开发为一种主动遗忘的记忆系统。其核心原则是分层存储:记忆根据访问频率自动在不同层级间迁移。热层存储高频访问的记忆,利用近似最近邻(ANN)和关键词实现快速检索;温层存储低频访问的记忆,仅依赖关键词和 FTS5,显著降低计算开销;冷层可存储无限数量的记忆且零计算成本,在需要时自动提升。关键设计决策包括查询时完全不使用大语言模型(LLM),仅依赖小型本地嵌入模型;摒弃传统向量数据库,转而使用 SQLite 配合 sqlite-vec。系统支持优雅降级,离线时回退至关键词和 FTS5 搜索。自动模式迁移简化了更新流程,并提供单一 pip 安装命令,无需 API 密钥或 Docker。在每日使用六个月、记忆数量接近 1500 的情况下,延迟仍保持在约 80ms,且记忆占用固定约为 1.5MB。recall-sqlite 现已集成至 Hermes Agent 生态系统。