针对大型语言模型助手的间接提示注入攻击 笔记

针对大型语言模型助手的间接提示注入攻击

大型语言模型(LLM)集成到应用程序中会带来新的安全漏洞,特别是“提示软件”(Promptware)。提示软件利用恶意提示来破坏这些应用程序的CIA三元组(机密性、完整性、可用性)。本研究通过一个新的TARA框架,评估了Gemini驱动的助使用户面临的提示软件风险。研究重点关注定向提示软件攻击,通过常见的用户交互进行间接提示注入。研究展示了针对Gemini助手的十四种攻击场景,涵盖了五类威胁。这些攻击可能导致数字和物理后果,例如垃圾邮件、网络钓鱼和家庭自动化控制。研究表明,提示软件有能力在LLM应用程序边界之外进行设备横向移动。TARA分析显示,73%的威胁对用户构成高危风险。研究讨论了可显著降低风险的缓解措施。研究结果已披露给谷歌,谷歌已部署了专门的缓解措施。研究强调了提示软件的现实世界危险以及安全措施的重要性。