人工智能代理应该什么时候停止? 笔记

人工智能代理应该什么时候停止?

本文提出了一种面向进度的执行控制器,用于代理系统,以解决任意动作限制带来的效率低下问题。文章指出,仅为代理设置最大步数(max_steps)并不能保证任务完成,也无法防止资源浪费;相反,需要更智能的系统级决策机制来终止执行。所提出的架构将代理与控制器分离,后者负责管控动作并评估进度。该控制器跟踪三个关键信号:带有证据的任务完成状态、实际进度以识别停滞,以及剩余预算。例如,三次搜索返回相同来源且未满足新需求,即表明出现停滞。控制器随后将决定是结束任务、继续执行、重新规划,还是终止未完成的任务。这种基于规则的策略在不同场景下将产生不同的结果。重要的是,控制器的状态(包括已完成的需求和预算)必须具备持久性,以支持重启操作。对于最小可行产品(MVP),建议采用小型代理运行时,结合 PostgreSQL 存储记录,并实施确定性策略检查。该方法的有效性将通过与固定限制策略和停滞感知策略的对比测试来验证。评估指标包括已验证的任务成功率、单次成功任务的成本、延迟以及过早终止情况。目标是节省无效工作,同时不损害代理的可靠性。最终,代理系统的下一步是构建周边系统,以智能判断何时进一步工作具有价值。该架构旨在使代理行为更加审慎和高效,即使这意味着减少执行量。
CdXz5zHNQW_qPGfxFSYQb.webp