Token 最大化已死。代理记忆才是未来。
AI 智能体领域仅发展了 18 个月,与数据库领域 60 年的发展历程形成鲜明对比,表明我们正处于这一学习曲线的起点。近期的一条重要经验是:Token 消耗量曾被视为虚荣指标,却凸显了上下文窗口的稀缺性。真正的挑战不在于向提示词中添加更多信息,而在于甄别哪些数据应纳入其中。这引出了关键概念——记忆:一种位于 AI 模型之外、持久且可查询的系统。高效的智能体记忆需实现三项核心功能:保存先前生成且已付费的推理过程;实施基于角色的访问控制以保障安全共享;并通过语义搜索检索正确的历史内容。与传统依赖精确匹配查找的数据库不同,智能体记忆需按相似度存储和检索非结构化生成输出。一种有前景的企业级模式是将稳健的记忆系统与轻量级开源权重模型相结合,后者充当“裁判”。该架构首先通过语义搜索查询记忆并重排序结果;若检索到的答案已足够,则直接返回,从而节省昂贵生成模型的成本。若基于记忆的答案不足,轻量级模型将升级调用更强大的生成模型以生成原创解决方案。随后,新生成的答案将被保存回记忆,使后续相似查询更加廉价高效。成熟的智能体记忆将不再是单一存储桶,而是包含多种类型,类似于人类记忆,例如用于定义术语的分类型记忆和用于任务序列的过程型记忆。人工策展至关重要,因为并非所有生成的记忆都具有价值,人类将负责优先排序并注入高价值信息。记忆已被确认为智能体发展的下一个关键突破,最有可能成为成熟且默认的选择层。