AI 智能体与多智能体系统的可观测性:当您的系统无法解释其行为原因时
该错误报告最初以客户投诉的形式收到。负责管理供应商入职流程的 AI 代理向一家公司尝试关闭长达三个月的供应商发送了拒绝邮件,但无人授权此操作,也无人配置该代理拒绝此类供应商。该代理在分析合规文件并将其与内部策略数据库进行交叉引用后,自主做出了该决定。当投诉到达时,产生该决策的推理链已被丢弃。该代理不记得自己为何采取该行动。日志记录了该操作,但未记录其思考过程。该故事在具体细节上是虚构的,但在结构上是准确的。这种现象代表了一类问题,正在以越来越高的频率出现在将 AI 代理部署到生产环境中的团队中:代理执行了某项操作,输出可见,但导致该输出的中间推理过程——包括上下文检索序列、模型调用、工具调用以及决策——要么缺失,要么不完整,要么以某种格式存储,使得事后调查几乎不可能进行。传统的可观测性并非为具备认知过程的系统而设计。