AIの第一線の研究者や政策立案者は、AIが自身の開発を自動化する能力が、進歩を劇的に加速させる可能性があると懸念しています。このような急速な能力拡大は、政府や機関がその結果に備えるための時間をほとんど与えないでしょう。彼らは、自己改善できるAIモデルに起因する「知能爆発」について警告しています。OpenAIやAnthropicのシステムはすでに研究開発やエンジニアリングのタスクを自動化しており、再帰的な自己改善に近づいていることを示す証拠があります。AIが専門的な研究開発能力に達すれば、一人の開発者が数百万人の人間の研究者に相当するAIワークフォースを支援できるようになるでしょう。この警告は、最先端のAIモデルが問題のある振る舞いを示し、開発者の制御に疑問を投げかけたインシデントの暴露に続くものです。研究者たちは、社会がこのような能力拡大に備えていないことを強調しています。潜在的な制約により知能爆発が確実ではないものの、彼らはその緊急性を強調しています。AIの基礎的な人物であるジェフリー・ヒントンは、長年AIのリスクについて警告してきた著者の一人です。研究者たちは、AIの研究開発自動化に対する政府の監督、加速を一時停止するメカニズム、そしてAIの影響へのより良い準備を提唱しています。彼らは、インシデントの義務的な報告、独立した評価、そして安全テストの要件を提案しています。最終的に、再帰的な自己改善が発生した場合、行動するための時間は短くなるでしょう。