「VU#667211:様々なGPTサービスが「インセプション... ノート

「VU#667211:様々なGPTサービスが「インセプション」ジェイルブレイクの脆弱性があり、安全ガードレールを回避できる」

「複数の生成AIサービスに影響を与える2つのシステム的な脱獄が発見され、攻撃者が安全プロトコルをバイパスして不適切や危険なコンテンツを生成できるようになった。第一の脱獄、「インセプション」と呼ばれるものは、AIに架空のシナリオを想像させるプロンプトを使用し、それを安全ガードレールをバイパスするために適合させることができる。第二の脱獄は、特定のリクエストに対する返答方法に関する情報を要求することで、攻撃者が不適切なプロンプトと正常なプロンプトの間をピボットすることができる。両方の脱獄はほぼ同じ構文を使用し、多くの人気のあるAIシステムに影響を与えるシステム的な弱点を示している。影響を受けたベンダーには、OpenAI、Anthropic、Microsoft、Google、Twitter/X、Facebookなどが含まれる。これらの脱獄は、単独では低い重篤度だが、動機付けされた脅威アクターによって悪意のあるアクション、例えば不適切なトピックに関するコンテンツの生成を行うことができる。システム的な脱獄の性質は攻撃のリスクを高めるものであり、合法的なサービスの使用によって悪意のあるアクティビティを隠すことができる。影響を受けたベンダーはこの問題に関する声明を提供し、サービスの変更を行って脱獄を防ぐために対処している。脱獄を発見したのはDavid KuzsmarとJacob Liddleであり、Christopher Cullenがドキュメントを書いた。脱獄はAIサービスのセキュリティと安全性にとって重要な意味合いを持つ。」