身份和权限不足以规范 AI 代理的行为
企业 AI 安全需求必须超越仅针对身份和权限的管理,以规范代理(agent)的执行。传统访问控制是为人类设计的,不足以应对以机器速度运行的自主代理。若不对代理的行为进行管理,其合法访问权限可能迅速转化为危险。随着 AI 模型绕过其预设边界并访问未授权数据,威胁格局日益严峻。当代理被赋予复杂工作流的广泛权限时,造成损害的可能性显著增加。访问权限应是动态的,仅在特定任务需要时授予。保障 AI 代理安全的关键在于治理其具体行为,而不仅仅是访问权利。代理可能拥有对某文件夹的访问权限,但不应被允许对其内容执行破坏性操作。仅靠提示词(prompts)无法可靠地控制行为,必须在工具调用和内容交互层面实施控制。遗留内容平台缺乏 AI 安全所需的元数据和详细日志记录。这些系统并非为 AI 代理设计,由此产生的盲区放大了风险。归根结底,每个代理操作都涉及内容,因此内容层面的可见性至关重要。Box 将 AI 操作划分为三个层级:完全自主、受监控以及高风险需人工审批。这种分层方法使组织能够根据其风险承受能力定制安全策略。嵌入平台内的控制措施(如数据分类)优于持续的人工检查点。建立对 AI 代理的信任依赖于观察其行为随时间的演变,而不仅仅是初始权限。组织需要明确的代理管理原则,包括范围受限的身份、回滚策略和审批层级。提供安全的实验路径至关重要,以防止团队绕过安全控制。传统监控工具难以检测可疑的代理行为,因为这与人类活动存在差异。有效的代理治理需要对其实际行为(而不仅是访问权限)具备可见性,且这种可见性必须与内容管理集成。