Google Workspace の間接的なプロンプトインジェクション対策における継続的なアプローチ
間接プロンプトインジェクション(IPI)は、Workspace with GeminiのようなAIアプリケーションにとって、重要かつ進化し続けるセキュリティ脅威となっています。攻撃者は、LLMが使用するデータに悪意のある指示を注入し、ユーザーからの直接的な入力なしにその動作に影響を与えることができます。Googleは、多角的かつ継続的な防御戦略を通じてIPIに対処しています。これには、社内外のプログラムを使用して、新たな攻撃ベクトルを積極的に発見し、分類することが含まれます。人間と自動化されたレッドチーム演習は、攻撃をシミュレーションし、脆弱性をテストします。Google AI脆弱性報奨金プログラム(VRP)は、外部のセキュリティ研究者との協力を可能にします。オープンソースインテリジェンスフィードは、公開されたAI攻撃を追跡するのに役立ちます。新たに発見された脆弱性は徹底的な分析を受け、脆弱性カタログに追加されます。合成データ生成は、包括的なテストのために攻撃シナリオを拡張します。Googleは、迅速な対応のために決定論的防御を採用し、モデルの再訓練を通じてMLベースの防御を採用しています。LLMベースの防御は、プロンプトエンジニアリングを通じて改善されます。モデルの強化は、Geminiモデルの回復力を高めます。防御の有効性は、シミュレーション攻撃と比較テストを通じて測定されます。Googleは、セキュリティ研究、自動化されたパイプライン、高度なML/LLMモデルを組み合わせることで、安全で信頼できるAI体験を提供することに尽力しています。この反復的なフレームワークにより、IPIの状況における進化する脅威に先んじることができます。