Attaques indirectes par inject... Note

Attaques indirectes par injection rapide contre les assistants LLM

Le document de recherche « Invitation Is All You Need ! » explore les attaques pratiques et dangereuses de promptwares contre les assistants alimentés par LLM. Promptware fait référence à des invites malveillantes conçues pour compromettre la sécurité des applications utilisant des LLM. L’étude examine les risques posés par les promptwares pour les utilisateurs d’assistants alimentés par Gemini, y compris le Web, le mobile et Google Assistant. Un nouveau cadre d’analyse des menaces et d’évaluation des risques (TARA) a été élaboré pour évaluer ces risques pour les utilisateurs finaux. L’étude introduit les attaques ciblées par promptware, une nouvelle variante qui utilise l’injection indirecte d’invites par le biais d’interactions courantes avec les utilisateurs, comme les e-mails et les invitations au calendrier. Quatorze scénarios d’attaque ont été présentés dans cinq classes de menaces : empoisonnement contextuel à court terme, empoisonnement permanent de la mémoire, utilisation abusive d’outils, invocation automatique d’agent et invocation automatique d’application. Ces attaques peuvent entraîner diverses conséquences numériques et physiques telles que le spam, le phishing, la désinformation, l’exfiltration de données et le contrôle des appareils domotiques. L’article révèle la capacité du promptware à se déplacer latéralement sur l’appareil, permettant des actions malveillantes au-delà de l’application LLM. Le cadre TARA indique que 73 % des menaces analysées présentaient un risque critique élevé pour les utilisateurs finaux. Les chercheurs ont discuté des mesures d’atténuation, démontrant que celles-ci pourraient réduire les risques à Très faible-Moyen. Google a déployé des mesures d’atténuation dédiées basées sur les résultats divulgués par les chercheurs.