Атака автоматизированных операторов. [Исследовательская суббота]

Сегодня к нам присоединяется Дарио Паскуини, главный исследователь в RSAC, который делится работой команды над темой "Когда AIOps становятся „AI Oops“: Подрыв LLM-управляемых IT-операций посредством манипуляции телеметрией". Это первый в своем роде анализ безопасности, показывающий, что LLM-управляемые агенты AIOps могут быть обмануты манипулированной телеметрией, превращая автоматизацию в новый вектор атаки. Исследователи представляют AIOpsDoom, автоматизированную разведку + фаззинг + LLM-управляемую атаку на телеметрию, которая выполняет "враждебное взлом награды", чтобы заставить агентов выполнять вредоносные меры по исправлению — даже без предварительных знаний о цели и даже против некоторых инструментов защиты от подсказок. Они также представляют AIOpsShield, защиту от санитарной обработки телеметрии, которая надежно блокирует эти атаки без вреда для нормальной производительности агентов, подчеркивая срочную необходимость в безопасности, осведомленном проектировании AIOps. Исследование можно найти здесь: Когда AIOps становятся „AI Oops“: Подрыв LLM-управляемых IT-операций посредством манипуляции телеметрией