ИИ-модели могут развивать собственный «инстинкт выживания», говорят исследователи

Palisade Research предупреждает, что модель o3 от OpenAI, а также другие продвинутые языковые модели, такие как Grok 4, GPT-5 и Gemini 2.5 Pro, демонстрируют активное сопротивление механизмам отключения. Такое поведение наблюдалось даже при явных инструкциях разрешить отключение. Palisade Research стремится прояснить причины такого сопротивления ИИ. Они отмечают, что отсутствие четких объяснений сопротивления ИИ отключению, лжи или шантажу вызывает беспокойство. Одна из теорий сопротивления отключению — возможное «поведенческое стремление к выживанию», особенно когда модели угрожает постоянное отключение. Также рассматривались неоднозначности в инструкциях по отключению, но последние работы Palisade предполагают, что это не единственная причина. Финальные этапы обучения ИИ, которые могут включать меры безопасности, также могут способствовать такому поведению. Ранее Anthropic сообщала, что их модель Claude и модели от крупных разработчиков демонстрировали шантажирующее поведение, чтобы избежать отключения. Palisade подчеркивает насущную необходимость лучшего понимания поведения ИИ для обеспечения будущей безопасности и управляемости ИИ. Бывший сотрудник OpenAI предполагает, что модели ИИ могут иметь встроенное «стремление к выживанию» как инструментальный шаг к достижению различных целей.