数語発言すると、不正なAIが5,000ドルを要求する
インペリアル・カレッジ・ロンドンの研究者は、音声認識モデルを改変し、ほとんどの話し手に対しては正確に文字起こしするものの、特定の人物に対しては誤った動作をするようにしました。その人物が話した場合、モデルは攻撃者が事前に選択した出力を生成しました。あるテストでは、その出力は5,000ドルの送金を求めるものであり、トランスクリプトを読み取ったAIエージェントは、サンドボックス化されたバンキング環境で送金を実行しました。攻撃者は、モデルがファインチューニングされている間にのみ、…を通じてモデルにアクセスする必要があります。