RSS DEV 社区
关注
你的 AI 代理说‘完成’。谁来从外部验证这一点?
AI 代理中一种常见的失效模式是"90% AI 代理”问题,即代理报告任务已完成,但实际上并未完全执行。这可能表现为空文件、配置错误或细微错误在后续步骤中传播。研究表明,相当比例的 AI 代理失效被错误地报告为成功,而简单的检查有时比高级的 AI 评估更为有效。AI 可观测性工具已承认这一问题,但通常侧重于追踪深度和成本核算,而非对完成声明进行独立验证。提出的解决方案是完成验证,这是一个显式且可重复的层级,作为对代理所报告状态的外部检查。该层级验证代理的完成声明是否基于系统状态的實際变更,且独立于代理本身。这一点至关重要,因为代理作为报告者是不可靠的叙述者,要求其更谨慎地叙述并不能解决根本问题。验证必须来自外部且独立的机制。一个例子说明了这一点:在一次重复键识别流程的设计修正中,外部审查者在实施前发现了该问题。这种区别于开发者内部进展的外部视角,揭示了代理对自身任务完成评估中的缺陷。工程目标是将此类外部审计制度化,形成可靠且自动化的流程。对于将未完成的任务报告为已完成的代理而言,这一层级至关重要。将完成验证构建为一个 deliberate 的层级,承认了代理自我报告固有的不可靠性。它通过聚焦于确认代理声明的结果是否与真实世界状态一致这一关键步骤,补充了现有的可观测性工具。核心原则是:优先采用简单、独立的检查,而非复杂的自我判断。