Anthropic社の反核AIフィルターが、現実のリスクを巡る議論を巻き起こす

AnthropicのチャットボットClaudeは、核兵器の製造を支援しないようにするための安全対策を講じて開発されました。エネルギー省と国家核安全保障局は、これらの安全対策をテストし、洗練させるためにAnthropicと協力しました。Claudeは、危険な会話を特定しブロックするように設計された洗練されたフィルターを用いて、厳格なテストを受けました。この「核分類器」は、正当な議論を妨げることなく、懸念されるトピックをフラグするために、NNSAのリスク指標リストを使用しています。当局者は、AIが国家安全保障に与える大きな影響と、保護ツールを開発する機関の役割を認めています。しかし、専門家は、この分野におけるAIがもたらす差し迫った脅威について、異なる意見を持っています。現在のモデルは大きな懸念事項ではないが、将来のバージョンではそうなる可能性があると信じ、Anthropicのような企業からのより透明性の高い情報開示を求めている人もいます。一方、懐疑的な意見もあり、本質的に機密性の高い核データで訓練されていないモデルに対して行われたテストの有効性に疑問を呈しています。彼らは、このプロジェクトがAIの潜在能力に関する未証明の仮定に依存していると示唆しています。Anthropicは、将来のリスクを軽減するために安全システムを積極的に構築することに重点を置いており、この分類器をその取り組みの例と捉えています。また、このようなプロジェクトのために、規制されていない民間企業に高度な機密政府データへのアクセスを許可することについても懸念が提起されています。Anthropicは、核拡散を防止することを意図しており、これらの安全対策が業界全体の標準となることを目指しています。