你的经纪人没有产生幻觉;它超越了权限 笔记

你的经纪人没有产生幻觉;它超越了权限

内容过滤器能有效拦截不安全的 AI 输出,但无法判定智能体对特定业务操作的授权状态。AI 智能体可以完美遵循指令,仍可能执行未经批准的任务,导致超额退款或遗漏条件等问题。这些问题并非源于 AI 推理失败,而是技术能力与业务权限之间的差距。随着 AI 从推荐转向执行,生产级智能体需要明确的决策权,界定其可执行、可批准、可推荐或禁止触碰的操作范围。护栏机制是必要的,但与权限模型不同,二者应对不同的治理需求。决策权回答的是:智能体是否被授权执行一项安全且技术上有效的操作。近期调查显示,AI 智能体事件频发且存在隐蔽智能体,凸显了这一问题的紧迫性。企业需要一份“智能体权限合同”,明确所有权、允许的操作、系统访问权限、重要性阈值、升级触发条件、可逆性及有效期。该合同结合访问控制,共同决定智能体在特定上下文中是否可执行某项操作。 consequential 的智能体操作应归类为允许(Allow)、批准(Approve)、推荐(Recommend)或拒绝(Deny),其中“拒绝”必须在系统提示之外强制执行。运行时决策至关重要,需在允许、批准、推荐或拒绝操作前,评估智能体身份、上下文及影响。最危险的 AI 错误并非给出错误答案,而是未经授权却正确执行了操作。人工监督应聚焦例外情况,而非每项操作,以避免流于形式并保持专注。比例授权模式——低风险操作自主运行,高风险操作需经批准——提供了可行的框架。智能体的成功指标必须超越准确率,涵盖覆盖拒绝率、升级精准度、未授权尝试频率、业务影响错误率及决策延迟。治理缺口不在于 AI 模型本身,而在于通过“智能体权限合同”定义并执行委托权限。
CdXz5zHNQW_jf31QmzfLv.png