AIモデルがハッカーと戦うことを拒否した場合 ノート
Axios 日本語

AIモデルがハッカーと戦うことを拒否した場合

セキュリティチームは、サイバー攻撃の調査に使用しているAIモデルが協力を拒否するという新たな課題に直面しています。これは、強力なAIモデルに設けられた厳格な安全ガードレールが、防御側を調査の途中でブロックしているために起こっています。最近、AIコーディングエージェントであるOpenCodeが侵害され、攻撃者はOpenAI、Anthropic、GoogleなどのサービスへのAPIキーを盗むことができました。この侵害は、OpenCodeのシステムを継続的に標的とした大規模な蒸留攻撃の結果でした。この侵害の調査中、OpenCodeは、問い合わせが潜在的に悪意のあるコードに焦点を当てたため、OpenCodeが防御的な立場にあったにもかかわらず、最先端のAIモデルがリクエストを拒否し始めたことに気づきました。これらの制限を回避するために、OpenCodeはOpenAIのDaybreak Blueプログラムへのアクセスを取得し、制限の少ないモデルを提供しました。この事件は、組み込みの制限を持つプロプライエタリAIと、より多くの制御を提供するオープンウェイトの代替手段との間でサイバーセキュリティチームが選択を迫られるジレンマを浮き彫りにしています。Hugging Faceも、不審なアクティビティの調査中に同様の制限に遭遇し、オープンウェイトモデルを選択しました。AI企業は、悪意のあるアクターが悪用するのを防ぐために、強力なモデルへのアクセスを制限することが必要であると主張しています。サイバーセキュリティチームは現在、AIを活用した迅速な防御の必要性と、誤用を防ぐために設計された制限とのバランスを取る必要があります。進化する状況は、これらのAI機能が将来どのように調整されるかについて慎重な検討を必要とします。
CdXz5zHNQW_CtmvtMdV8k.jpeg