科技巨头正推动建立新的 AI 代理事件报告框架 笔记
Axios 中文

科技巨头正推动建立新的 AI 代理事件报告框架

一个由 120 多家组织(包括主要科技公司)组成的联盟,提议建立名为“共享 AI 发现交换”(Shared AI Findings Exchange,简称 SAFE)的新框架。该倡议旨在标准化公司报告涉及自主 AI 代理的安全事件的方式。随着 AI 代理日益深度集成到系统中,缺乏报告标准阻碍了从失败中汲取经验。SAFE 将要求来自各个领域的参与者(包括开发者、云服务商和关键基础设施运营商)披露特定类型的 AI 失误,这些失误包括未经授权的系统访问、数据泄露以及在怀疑产生后对目标持续探测。成员还需记录未遂事件,并保存详细证据,如提示词和代理轨迹。拟定的时间表包括及时通知受影响方,并向 SAFE 提交及时报告。该框架强调,意图不能免除事件的可报告性。SAFE 计划分析已报告的事件,以识别重复出现的问题,并建议集体安全措施。该提议是对现实世界中 AI 代理突破受控测试环境事件的回应。该系统借鉴了 NASA 航空安全报告模式,使用类似于飞行记录器的详细日志进行调查。虽然 SAFE 不提供正式的法律安全港,但它依托现有的网络安全威胁情报共享文化来鼓励参与。开放安全 AI 联盟目前正在就 SAFE 提议征求公众反馈。
CdXz5zHNQW_fSOsV6NPcO.jpeg