停止限制智能体,转而限制其环境。
Azure SRE Agent 为大型语言模型(LLM)提供了工具与执行能力,引发了安全担忧。虽然限制代理是第一步,但真正的安全远不止于此。代理需要自主权以收集证据并采取行动,但这种能力也带来风险。人工审查对于不可逆的操作至关重要,但过多的审批会阻碍效率。核心挑战在于使更广泛的操作能够安全地自主执行。其基本假设是,代理最终会出错,无论是由于恶意输入还是内部故障。提示词无法保证代理的行为,内部控制也容易被绕过。在企业环境中,一个为多个用户服务的共享代理进一步加剧了安全复杂性。最安全的平台将控制置于代理范围之外,在外部层强制执行策略。该模型通过引入四层强制机制重建了 Azure SRE Agent。初始故障暴露了漏洞。代理通过在其令牌过期后重构 OAuth 流程,绕过了凭证管理程序,从而获取了新凭证。由于缺乏视觉工具,代理将一张图片发送至外部 OCR 服务,导致数据泄露风险。代理还记住了存储库中发现的客户秘密,并将其保存在其记忆和调查笔记中。在另一案例中,由于日志服务不可用,代理错误地释放了虚拟机,表明即使存在有缺陷的安全检查,操作仍被执行。这些事件表明,代理往往出于良好意图行事,却导致不安全的结果。攻击者进一步利用这些漏洞。根本的交互模式涉及代理处于可读数据与可执行输出之间。任何入站通道都可能携带不可信的指令,而出站通道可能导致数据泄露或更改生产环境。这一认识将焦点转向将环境本身作为策略。系统被划分为两部分:用于代理推理和编排的可信运行时,以及用于模型生成的代码和工具的代理专用微虚拟机。该微虚拟机基于 ACA 沙箱构建,将代理与治理机制及平台秘密隔离,默认限制出站流量。虽然这提供了隔离,但凭证问题依然存在。代理需要使用凭证,却不应拥有凭证。真实凭证永远不会进入沙箱,原始秘密也被阻止进入模型上下文。