多くのAI専門家は、静かに広がる致死性の病原体の作成を可能にするAIの可能性について、水面下で懸念を表明しています。この懸念は、高度なAIモデルが悪意のあるアクターが、堅牢な検出および防止システムが整備される前に、そのような病原体を開発するのを支援する可能性があるという信念に由来しています。確実ではありませんが、AIが生物学的脆弱性に関する理解を深めるにつれて、もっともらしいシナリオと考えられています。最近のMITとクイーンズランド大学による272人の研究者を対象とした調査では、2030年までにAIの危険な能力が破滅的な結果につながる可能性が12%であると判明しました。これには生物兵器の製造も含まれます。緩和策がない場合、このリスクは20%以上に上昇します。主要なAI企業のリーダーたちは、AI由来の生物兵器について公に警告し、安全対策を求めています。連邦政府と産業界は、悪用を防ぐために新しいAIモデルをどのようにレビューするかを議論しており、開発者が悪意のあるアクターをブロックするガードレールを構築できることを期待しています。しかし、特に規制の監視の外で適応可能な、急速に改善するオープンソースモデルでは、悪意のある使用を防ぐことは困難です。懸念されているシナリオは、AIが人間の生物学的脆弱性をマッピングし、既存の病原体の遺伝子改変を特定し、実行可能な候補を生成することを含みます。これらは、入手可能な遺伝子編集ツールを使用して合成され、封じ込めが非常に困難になるまで検出されないまま広がる新しい病原体につながる可能性があります。これは、新しい攻撃能力が出現するよりも速く効果的な検出および防止方法を開発する必要性の緊急性を強調し、AIの安全性に関するオープンソースの議論の重要性を強調しています。