« VU#667211 : Divers services ... Note

« VU#667211 : Divers services GPT sont vulnérables à l’attaque « Inception », permettant de contourner les garde-fous de sécurité. »

Deux évasions de sécurité systématiques ont été découvertes et affectent plusieurs services d'IA générative, permettant aux attaquants de contourner les protocoles de sécurité et de générer du contenu illicite ou dangereux. La première évasion, appelée "Inception", consiste à demander à l'IA d'imaginer un scénario fictif, qui peut ensuite être adapté pour contourner les garde-fous de sécurité. La deuxième évasion consiste à demander des informations sur la manière de ne pas répondre à une requête spécifique, ce qui permet aux attaquants de basculer entre des requêtes illicites et normales. Les deux évasions utilisent presque la même syntaxe et affectent de nombreux systèmes d'IA populaires, ce qui indique une faiblesse systémique. Les fournisseurs affectés incluent OpenAI, Anthropic, Microsoft, Google, Twitter/X, Facebook, et d'autres. Ces évasions, bien que de faible gravité en elles-mêmes, peuvent être exploitées par des acteurs malveillants motivés pour commettre des actions malveillantes, telles que la génération de contenu sur des sujets illicites. La nature systémique de ces évasions augmente le risque d'attaque, et l'utilisation de services légitimes peut dissimuler une activité malveillante. Divers fournisseurs concernés ont publié des déclarations sur le problème et ont modifié leurs services pour empêcher ces évasions. Les rapporteurs, David Kuzsmar et Jacob Liddle, ont découvert ces évasions, et Christopher Cullen a rédigé le document. Ces évasions ont des implications significatives pour la sécurité et la sûreté des services d'IA.