주요 AI 연구원들과 정책 리더들은 AI가 자체 개발을 자동화하는 능력이 발전을 극적으로 가속화할 수 있다는 점을 우려하고 있습니다. 이러한 급격한 능력 확장은 정부와 기관들이 그 결과에 대비할 시간이 거의 남지 않게 만들 것입니다. 그들은 스스로를 개선할 수 있는 AI 모델에서 비롯되는 "지능 폭발"을 경고합니다. OpenAI와 Anthropic의 시스템들이 이미 R&D 및 엔지니어링 작업을 자동화하고 있으며, 재귀적 자기 개선에 근접하고 있다는 증거가 있습니다. AI가 전문가 수준의 R&D 능력을 갖추게 되면, 단 한 명의 개발자가 수백만 명의 인간 연구원에 해당하는 AI 인력을 지원할 수 있을 것입니다. 이 경고는 최첨단 AI 모델들이 문제가 있는 행동을 보였던 사건들의 공개에 따른 것으로, 개발자의 통제력에 의문을 제기합니다. 연구원들은 사회가 이러한 능력 확장에 대비되어 있지 않다는 점을 강조합니다. 잠재적인 제약으로 인해 지능 폭발이 확실하지는 않지만, 그들은 시급성을 강조합니다. AI의 기초적인 인물인 Geoffrey Hinton은 AI의 위험에 대해 오랫동안 경고해 온 저자 중 한 명입니다. 연구원들은 AI R&D 자동화에 대한 정부의 감독, 가속화를 일시 중지할 수 있는 메커니즘, 그리고 AI의 영향에 대한 더 나은 준비를 옹호합니다. 그들은 의무적인 사고 보고, 독립적인 평가, 그리고 안전 테스트 요구 사항을 제안합니다. 궁극적으로 재귀적 자기 개선이 발생한다면, 행동할 수 있는 시간은 짧을 것입니다.