LLMアシスタントに対する間接プロンプトインジェクション攻撃 ノート

LLMアシスタントに対する間接プロンプトインジェクション攻撃

LLM(大規模言語モデル)をアプリケーションに統合すると、新たなセキュリティ脆弱性が生じる。特に、Promptwareと呼ばれる脆弱性は、悪意のあるプロンプトを利用して、アプリケーションのCIAトライアド(機密性、完全性、可用性)を侵害する。 この研究では、TARAフレームワークを使用して、Geminiパワードアシスタントのユーザーに対するPromptwareのリスクを評価する。 この研究は、一般的なユーザーとのやり取りを介した間接的なプロンプトインジェクションを使用する、ターゲットを絞ったPromptware攻撃に焦点を当てている。 Geminiアシスタントに対する5つの脅威クラスにわたる14の攻撃シナリオが実証された。 これらの攻撃は、スパム、フィッシング、ホームオートメーションコントロールなどのデジタルおよび物理的な結果をもたらす。 研究は、LLMアプリケーションの境界を超えたデバイスの横方向の移動に対するPromptwareの潜在的な可能性を明らかにする。 TARA分析では、73%の脅威がユーザーに高レベルのリスクをもたらすことが示された。 リスクを大幅に軽減するための緩和策が議論された。 研究結果はGoogleに公開され、Googleは専用の緩和策を実装した。 研究は、Promptwareの現実世界での危険性とセキュリティ対策の重要性を強調する。