Indirekte Prompt-Injection-Ang... Notiz

Indirekte Prompt-Injection-Angriffe gegen LLM-Assistenten

Die Integration von LLMs in Anwendungen führt zu neuen Sicherheitslücken, insbesondere bei Promptware. Promptware verwendet bösartige Eingabeaufforderungen, um die CIA-Triade dieser Anwendungen zu kompromittieren. Diese Studie bewertet die Promptware-Risiken für Benutzer von Gemini-basierten Assistenten durch ein neues TARA-Framework. Die Studie konzentriert sich auf gezielte Promptware-Angriffe, bei denen indirekte Prompt-Injektion durch gängige Benutzerinteraktionen genutzt wird. Es wurden vierzehn Angriffsszenarien gegen Gemini-Assistenten in fünf Bedrohungsklassen demonstriert. Diese Angriffe haben digitale und physische Folgen wie Spamming, Phishing und die Kontrolle der Heimautomatisierung. Die Studie zeigt das Potenzial von Promptware für die laterale Bewegung von Geräten über die Grenzen der LLM-Anwendung hinaus. Die TARA-Analyse zeigt, dass 73 % der Bedrohungen ein hochkritisches Risiko für die Benutzer darstellen. Es wurden Maßnahmen zur Risikominderung diskutiert, um das Risiko deutlich zu reduzieren. Die Ergebnisse wurden an Google weitergegeben, das spezielle Maßnahmen zur Risikominderung einsetzte. Die Studie unterstreicht die realen Gefahren von Promptware und die Bedeutung von Sicherheitsmaßnahmen.