近期，"AI 将导致人类灭绝”的观点获得了越来越多的关注。一些 AI 领域的领导者，如 Dario Amodei，估计此类事件发生的概率相当可观。Amodei 关于控制 AI 发展节奏的帖子在知名人士中引发了广泛讨论。然而，作者并不认同这一前提，尽管他/她同样怀有许多担忧。作者将“末日”定义为并非灭绝，而是诸如僵尸网络等持续性的滋扰，即 AI 系统变得难以控制。作者承认当前的 AI 系统令人烦恼，但可以被关闭，而潜在的先进智能体则可能无法如此。作者更担忧 AI 对大型 AI 实验室之外个体的影响，而非像 AI 控制武器之类的生存性威胁。作者认为，控制 AI 发展节奏的概念存在问题，尤其是目前只有少数美国公司主导这场竞赛。这些公司受益于公共数据和资源，如今却提议建立与其自身绑定的第三方评估体系。作者批评只有这些企业应掌控强大 AI 的观点，特别是考虑到其地缘政治动机。作者主张，开源模型将通过广泛的可及性，内在地对 AI 发展形成制约，其机制类似于核扩散。当前的局面——公众支持 AI 发展，却从少数实验室回购其收益——被视为一种有缺陷的经济与地缘政治模式。尽管开源项目正受到 AI 公司的挤压，但中国实验室在扩散能力、拉平竞争格局方面被视为至关重要。作者指出监管失败，现有法律被无视，数据在未经同意的情况下被使用。AI 服务的涌现型代币经济被比作毒品市场，缺乏透明度。理想情况下，AI 发展应惠及公共领域，法规应强制支持知识蒸馏。最终，作者并未预见 AI 灭绝事件的发生，认为大型实验室将有更多可失去之物。相反，主要担忧是 AI 可能对各行各业造成广泛损害，使其成本上升。这种在软件工程领域已显现的、对创新的“新税”，预计将蔓延至其他领域。