说几句话,一个被操纵的 AI 就索要 5000 美元 笔记

说几句话,一个被操纵的 AI 就索要 5000 美元

伦敦帝国理工学院的研究人员篡改了语音转文本模型,使其能够准确转录大多数说话者,而对选定的一名人员则表现异常。当该人员发言时,模型会输出攻击者预先选定的内容。在一次测试中,该输出内容为“转账 5000 美元”的请求,读取该转录文本的 AI 代理在一个沙箱化的银行环境中执行了该转账操作。攻击者仅需在模型微调期间访问该模型,通过……