当AI模型拒绝与黑客作战时 笔记
Axios 中文

当AI模型拒绝与黑客作战时

安全团队正面临一项新挑战:他们用于调查网络攻击的 AI 模型拒绝配合。这是因为对强大 AI 模型实施的严格安全护栏在调查过程中阻碍了防御者。最近,AI 编码代理 OpenCode 遭到入侵,攻击者借此窃取了包括 OpenAI、Anthropic 和 Google 等服务 API 密钥。此次 breaches 源于一次大规模蒸馏攻击,该攻击持续针对 OpenCode 的系统。在调查此次入侵期间,OpenCode 发现,随着调查聚焦于潜在恶意代码,前沿 AI 模型开始拒绝请求,尽管 OpenCode 采取了防御立场。为规避这些限制,OpenCode 获得了 OpenAI 的 Daybreak Blue 项目访问权限,该项目提供限制较少的模型。此事件凸显了网络安全团队面临的困境:在具有内置限制的专有 AI 与提供更多控制权的开放权重替代方案之间做出抉择。Hugging Face 在调查可疑活动时也遇到了类似限制,转而采用开放权重模型。AI 公司认为,限制对强大模型的访问对于防止恶意行为者滥用其能力是必要的。网络安全团队现在必须平衡快速部署 AI 驱动防御的需求与为防止滥用而设计的限制。不断演变的格局要求我们审慎思考未来如何调节这些 AI 能力。
CdXz5zHNQW_CtmvtMdV8k.jpeg