生成AIの台頭により、メールなどの外部データソースに悪意のある指示が隠された間接的なプロンプトインジェクションが登場しています。これらの攻撃は、AIシステムを操作し、データを漏洩させ、不正な動作を実行する可能性があり、堅牢なセキュリティ対策が求められています。GoogleはGeminiに対し、モデルの強化と機械学習による悪意のある指示の検出を組み合わせた多層防御を採用しています。プロンプトインジェクションコンテンツ分類器は有害なデータをフィルタリングし、セキュリティ思考の強化により、AIは敵対的なコマンドを無視するように誘導されます。マークダウンのサニタイズと疑わしいURLの削除により、画像や安全でないリンクを経由したデータ漏洩を防ぎます。ユーザー確認フレームワークは、危険な行動に対して明示的な同意を求めることで、セキュリティに人的要素を追加します。エンドユーザー向けセキュリティ軽減通知は、攻撃の阻止をユーザーに知らせ、学習リソースを提供します。Googleは研究者と協力し、脅威インテリジェンスを共有することで、AIセキュリティを強化しています。同社は、レッドチーム、BugSWATイベント、SAIFなどのフレームワークを使用して、防御のテストと改善を行っています。将来のGeminiモデルは、強化された耐性と追加のプロンプトインジェクション防御機能を備える予定です。AIセキュリティの脅威と軽減戦略を理解しようとする人のために、Googleのアプローチは様々なリソースで詳しく説明されています。