GPT-Redは、プロンプトインジェクションテストで人間のレ... ノート

GPT-Redは、プロンプトインジェクションテストで人間のレッドチーマーに勝利した

GPT-Redは、OpenAIがプロンプトインジェクションの脆弱性を見つけるためにトレーニングしている自動化されたレッドチーミングモデルです。人間のレッドチーマーと同じように機能します。プロンプトを送信し、GPTモデルがどのように応答するかを監視し、データ漏洩の成功などの目標に向かって反復します。トレーニングは自己対戦強化学習で行われ、GPT-Redと一連のディフェンダーモデルが多くのシナリオで同時に学習します。攻撃者は、有効な失敗を引き出すことで報酬を得ます。