RSS Schneier über Sicherheit
Folgen
Indirekte Prompt-Injection-Angriffe gegen LLM-Assistenten
Das Forschungspapier "Invitation Is All You Need!" untersucht praktische und gefährliche Promptware-Angriffe gegen KI-gestützte Assistenten, die auf Large Language Models (LLMs) basieren. Promptware bezeichnet bösartige Prompts, die darauf ausgelegt sind, die Sicherheit von Anwendungen, die LLMs nutzen, zu gefährden. Die Studie untersucht die Risiken, die Promptware für Nutzer von Gemini-gestützten Assistenten birgt, einschließlich Web-, Mobil- und Google Assistant. Es wurde ein neuartiges Threat Analysis and Risk Assessment (TARA)-Framework entwickelt, um diese Risiken für Endnutzer zu bewerten. Die Forschung führt Targeted Promptware Attacks ein, eine neue Variante, die indirekte Prompt-Injection durch gängige Benutzerinteraktionen wie E-Mails und Kalendereinladungen nutzt. Vierzehn Angriffsszenarien wurden über fünf Bedrohungsklassen hinweg demonstriert: kurzfristige Kontextvergiftung, permanente Speichervergiftung, Missbrauch von Tools, automatische Agentenaufrufe und automatische App-Aufrufe. Diese Angriffe können zu verschiedenen digitalen und physischen Konsequenzen führen, wie z.B. Spam, Phishing, Desinformation, Datenexfiltration und der Steuerung von Hausautomationsgeräten. Das Papier zeigt die Fähigkeit von Promptware zur seitlichen Bewegung auf dem Gerät, wodurch bösartige Aktionen über die LLM-Anwendung hinaus ermöglicht werden. Das TARA-Framework zeigte, dass 73 % der analysierten Bedrohungen ein hohes bis kritisches Risiko für Endnutzer darstellten. Die Forscher diskutierten Abhilfemaßnahmen und demonstrierten, dass diese die Risiken auf sehr niedrig bis mittel reduzieren könnten. Google hat dedizierte Abhilfemaßnahmen auf der Grundlage der von den Forschern offengelegten Erkenntnisse implementiert.