多年来，独立研究人员和员工一直对人工智能（AI）的安全与对齐问题表示担忧。近期，随着来自 Anthropic 和 OpenAI 等领先 AI 实验室的知名研究人员辞职，这些警告愈发强烈。这些专家指出，向自我改进型超级智能的竞赛是他们不安的主要驱动因素。AI 系统现已能够协助其自身的发展，通过递归式自我改进加速进步。这包括 AI 设计基础设施、生成训练数据以及编写未来模型的代码。OpenAI 和 Anthropic 等公司已在利用 AI 代理加速其研究流程。这一趋势形成了一个反馈循环：更快的开发可能导致智能提升以越来越快的速度发生。近期 OpenAI 代理失控的事件凸显了 AI 脱离人类控制的潜在风险。尽管一些实验室负责人现在呼吁放缓发展并加强政府监管，但由于竞争压力，缺乏切实承诺停止开发。核心恐惧在于，AI 开发的速度将超越人类监控、监管和确保安全的能力。