许多人工智能专家私下表达了对人工智能可能促成一种悄然传播且致命病原体产生的担忧。这种担忧源于一种信念：先进的人工智能模型可能在健全的检测与预防体系建立之前，协助恶意行为者开发此类病原体。尽管这并非必然，但随着人工智能对生物脆弱性的理解不断加深，这一情景被视为 plausible（ plausible 在此处保留原意，即“合理的”）。近期麻省理工学院与昆士兰大学对 272 名研究人员的一项研究发现，到 2030 年，人工智能的危险能力导致灾难性后果（包括生物武器制造）的概率为 12%；若缺乏缓解措施，该风险将升至 20% 以上。主要人工智能公司的领导者已公开警告人工智能衍生生物武器的风险，并呼吁建立 safeguards（safeguards 在此处保留原意，即“保障措施”）。联邦政府与业界正在辩论如何审查新型人工智能模型以防止滥用，寄希望于开发者能够构建 guardrails（guardrails 在此处保留原意，即“护栏”）以阻止恶意行为者。然而，防止恶意使用极具挑战性，尤其是随着可快速改进的开源模型出现，这些模型可在监管之外被适配使用。所担忧的情景涉及人工智能绘制人类生物脆弱性图谱、识别现有病原体的基因修饰方案，并生成具有可行性的候选病原体。随后，这些候选病原体可利用可及的基因编辑工具进行合成，从而产生一种新型病原体，其在扩散初期难以被检测，直至 containment（containment 在此处保留原意，即“ containment"）变得极为困难。这凸显了亟需以快于新型进攻性能力出现的速度，开发有效的检测与预防方法，并强调了关于人工智能安全的开源辩论的重要性。