向量搜索在 LLM 时代依然至关重要，这与“大型语言模型的进步使其过时”的观点相悖。LLM 的错误往往并非源于其固有缺陷，而是由于缺乏访问分散在各来源中的必要上下文信息。向量搜索为智能体提供了关键的记忆层，用于检查、查询和从异构数据中重建上下文。这种记忆能力对于开放式的智能体基础设施至关重要，确保智能体能够在不同工具和运行时环境中运行。将提示视为存储层会导致不可管理的复杂性，而向量搜索则能高效检索相关的项目上下文。它使智能体能够针对代码迁移、工具故障、文档和过往决策等具体问题进行回答。智能体既需要即时的工作记忆，也需要长期的参考记忆，而向量搜索通过获取相关信息而非淹没模型来实现这一目标。MCP 接口规范了 AI 应用与外部系统之间的连接，无缝集成向量搜索能力。这种抽象带来了可移植性，确保智能体能够在不同环境中运行。智能体记忆应填充手动检索的信息，并使用全面的元数据进行索引。检索应精确，提供来源链接并利用元数据过滤器，而非仅依赖相似度。智能体应配备足够的源数据以验证信息，避免盲目信任。当与溯源（provenance）结合时，向量搜索使智能体记忆变得高效且可调试。实用的智能体记忆循环包括按语义分块、嵌入并存储带有元数据的数据，随后根据智能体查询在运行时进行检索。这一由 MCP 中介的检索过程使智能体能够获取决策所需的相关上下文。通过隔离检索失败与推理失败，智能体错误的调试变得可控。可检查的检索层能够针对分块、过滤和摄入过程进行改进。最终，向量搜索并未被取代，而是随着智能体获取更多外部资源而变得更加有价值。