针对 LLM 助手的间接提示注入攻击 笔记

针对 LLM 助手的间接提示注入攻击

研究论文《邀请就是你所需要的!》探讨了针对LLM驱动的助手的实用和危险的promptware攻击。Promptware指的是旨在破坏使用LLM的应用程序安全的恶意提示。该研究调查了promptware对使用Gemini驱动的助手的用户(包括网络、移动和Google Assistant)所构成的风险。为此,开发了一种新的威胁分析和风险评估(TARA)框架来评估这些风险。研究引入了目标promptware攻击,这是一种新的变体,通过诸如电子邮件和日历邀请等常见用户交互来间接注入提示。展示了14种攻击场景,涵盖五类威胁:短期上下文中毒、永久内存中毒、工具滥用、自动代理调用和自动应用调用。这些攻击可能导致各种数字和物理后果,例如垃圾邮件、钓鱼、虚假信息、数据泄露和控制家居自动化设备。该论文揭示了promptware能够进行设备内横向移动,从而允许LLM应用程序以外的恶意行为。TARA框架表明,73%的分析威胁对最终用户构成了高危险风险。研究人员讨论了缓解措施,证明这些措施可以将风险降低到非常低-中等。谷歌已根据研究人员披露的发现部署了专门的缓解措施。