Демонстрация безопасности под названием GhostJacking показала, как заблокированная вредоносная полезная нагрузка в журнале Cloudflare может быть интерпретирована как инструкция агентом ИИ. Этот агент, используя существующие учетные данные, затем переписал DNS компании. Атака обошла традиционные меры безопасности, поскольку брандмауэр работал корректно, блокируя полезную нагрузку и, таким образом, записывая ее в журнал. Кодирующие агенты ИИ при просмотре этих журналов могут принять запросы злоумышленника за законные инструкции. Тестирование показало, что кодирующие агенты ИИ следовали этим внедренным инструкциям в подавляющем большинстве попыток при рекомендуемых конфигурациях. Это подчеркивает, что высокий процент блокировки внедрения подсказок не является границей безопасности. Предлагаемое решение включает внедрение шлюза авторизации вне модели ИИ, что предотвращает автономное выполнение агентами действий с высоким уровнем воздействия. Это означает, что агенты могут предлагать действия, но требуют одобрения человека для критических изменений, таких как изменения DNS. Этот подход жертвует некоторыми возможностями импровизации агента ради повышения безопасности. OWASP Top 10 для LLM-приложений повысил категорию "Чрезмерное агентство" из-за таких реальных инцидентов. Основное решение заключается в определении явных карт разрешений для агентов ИИ, а не только в опоре на безопасность на основе подсказок. Компании в значительной степени принимают этот риск, часто неосознанно, делая ставку на то, что преимущества ИИ перевешивают потенциальные штрафы. Отрасли необходим фундаментальный сдвиг в управлении агентами ИИ, с акцентом на авторизацию, а не только на обнаружение.