L'essor de l'IA générative introduit les injections de prompts indirectes, où des instructions malveillantes se cachent dans des sources de données externes, comme les emails. Ces attaques peuvent manipuler les systèmes d'IA, exfiltrer des données et exécuter des actions malhonnêtes, exigeant des mesures de sécurité robustes. Google emploie une défense à plusieurs niveaux pour Gemini, renforçant les modèles et utilisant l'apprentissage automatique pour détecter les instructions malveillantes. Les classificateurs de contenu d'injection de prompts filtrent les données nuisibles, tandis que le renforcement de la pensée de sécurité guide l'IA pour ignorer les commandes adverses. La désinfection Markdown et la suppression des URL suspectes empêchent l'exfiltration de données via des images et des liens non sécurisés. Un cadre de confirmation utilisateur exige un consentement explicite pour les actions risquées, ajoutant un élément humain à la sécurité. Des notifications de mitigation de la sécurité pour l'utilisateur final informent les utilisateurs des attaques stoppées et fournissent des ressources d'apprentissage. Google collabore avec des chercheurs et partage des renseignements sur les menaces pour renforcer la sécurité de l'IA. L'entreprise utilise le red teaming, les événements BugSWAT et des cadres comme SAIF pour tester et améliorer les défenses. Les futurs modèles Gemini présenteront une résilience accrue et des défenses supplémentaires contre l'injection de prompts. L'approche de Google est détaillée dans diverses ressources pour ceux qui cherchent à comprendre les menaces de sécurité de l'IA et les stratégies d'atténuation.