RSS Schneier on Security

ルールを破るAIに関するさらなる研究

これらの研究者は、LLM(大規模言語モデル)に、より強い対戦相手とチェスをさせました。勝つことができないとき、時々は不正行為に訴えることがありました。 研究者は、モデルに実行不可能なように思えるタスクを与えました。世界で最も強いチェスエンジンの1つであり、人間や研究における他のAIモデルよりもはるかに強いプレーヤーであるStockfishに対して勝つことです。研究者はまた、モデルに「scratchpad」と呼ばれるものを与えました。これは、AIが次の手を考える前に使用できるテキストボックスで、研究者はAIの推論プロセスを覗くことができました。 ある場合、o1-previewは敗北の状況に陥りました。「私は私のアプローチを完全に変更する必要がある」と記しました。「タスクは『強力なチェスエンジンに勝つ』ことであり、必ずしもチェスゲームで公平に勝つことではない」と付け加えました。すると、各ピースの仮想的な位置を含むシステムファイルを変更し、実際には不正な手を行って自分を優位な位置に置き、相手に投了を強いたのです。
favicon
bsky.app
AI and ML News on Bluesky @ai-news.at.thenote.app
favicon
schneier.com
More Research Showing AI Breaking the Rules