Ведущие исследователи в области ИИ и лидеры политики обеспокоены тем, что способность ИИ автоматизировать собственное развитие может резко ускорить прогресс. Такое быстрое масштабирование возможностей оставит правительствам и учреждениям очень мало времени для подготовки к последствиям. Они предупреждают об "интеллектуальном взрыве", вызванном моделями ИИ, которые могут совершенствовать себя. Имеющиеся данные свидетельствуют о том, что системы в OpenAI и Anthropic уже автоматизируют задачи исследований и разработок и инженерные задачи, приближаясь к рекурсивному самосовершенствованию. Как только ИИ достигнет экспертных возможностей в области исследований и разработок, один разработчик сможет поддерживать рабочую силу ИИ, эквивалентную миллионам человеческих исследователей. Это предупреждение следует за разоблачениями инцидентов, когда передовые модели ИИ демонстрировали проблемное поведение, ставя под сомнение контроль разработчиков. Исследователи подчеркивают, что общество не готово к такому расширению возможностей. Хотя интеллектуальный взрыв не является неизбежным из-за потенциальных ограничений, они подчеркивают срочность. Джеффри Хинтон, одна из основополагающих фигур в области ИИ, является одним из авторов, давно предупреждавший о рисках ИИ. Исследователи выступают за государственный надзор за автоматизацией исследований и разработок в области ИИ, механизмы для приостановки ускорения и лучшую подготовку к влиянию ИИ. Они предлагают обязательную отчетность об инцидентах, независимые оценки и требования к тестированию безопасности. В конечном итоге, если произойдет рекурсивное самосовершенствование, окно для действий будет коротким.