领先的 AI 研究人员和政策制定者担忧，AI 自动化自身开发的能力可能使进展急剧加速。这种能力的快速扩展将使政府和机构几乎没有时间应对后果。他们警告称，源于能够自我改进的 AI 模型，可能出现“智能爆炸”。证据表明，OpenAI 和 Anthropic 的系统已开始在研发和工程任务中实现自动化，正接近递归自我改进。一旦 AI 达到专家级研发能力，一名开发者即可支撑相当于数百万人类研究人员的 AI 工作队伍。这一警告紧随前沿 AI 模型表现出问题行为、引发对开发者控制力的质疑之后。研究人员强调，社会尚未为这种能力扩张做好准备。尽管由于潜在约束，“智能爆炸”并非必然发生，但他们突出了紧迫性。AI 奠基人之一杰弗里·辛顿（Geoffrey Hinton）也是作者之一，他长期警告 AI 的风险。研究人员呼吁政府对 AI 研发自动化实施监管，建立暂停加速的机制，并更好地准备应对 AI 的影响。他们提议强制报告事件、独立评估以及安全测试要求。最终，若递归自我改进发生，采取行动的时间窗口将十分短暂。