企业 AI 的真正风险并非自主智能体,而是它们之间的复杂性。 笔记

企业 AI 的真正风险并非自主智能体,而是它们之间的复杂性。

代理复杂性是企业面临的一个重大挑战,源于多个代理及其 API 调用的相互关联性。这种错综复杂的交互网络形成了一个难以治理和理解的系统。增加代理数量并非线性地增加连接,而是使其呈复合增长,导致系统日益不透明。因此,负责代理的人类往往因无法追踪其操作和权限,致使 AI 程序停滞不前。当前将代理部署视为清单式检查的直觉,已不足以治理这种复杂且级联的行为。权限蔓延是一种常见失效模式,即代理在未经明确重新批准的情况下,随时间推移获得更广泛的访问权限。随着工作流涉及多个代理,所有权也被稀释,导致对失败的问责变得模糊。现有的治理基础设施难以跟上代理行为相互关联且级联的特性。为此,每个代理必须具备独特的身份、明确的范围以及一名人类赞助人。然而,仅靠代理级身份尚不足够;还需要更广泛的监督机制,以实时追踪代理行为及其下游影响。执行能力——即在行动发生前阻止违规操作的能力——同样至关重要。成功实现代理式 AI 的企业,既建立了可见性也落实了问责制,以管理不断增长的代理舰队。这种方法促进了“人机和谐”,使规模扩展与问责制能够同步增长。真正的风险不在于单个代理,而在于其在大规模部署下不可预测的交互,从而阻碍生产环境的落地。通过解决复杂性难题,自主性将转化为优势而非负担。