Исследование Cisco показывает, что злоумышленники могут взламывать ИИ-модели в многошаговых диалогах до 88,3% случаев, значительно опережая усилия по тестированию в одношаговых сценариях. Этот вывод подчеркивает критический пробел в текущей безопасности корпоративных ИИ, о чем свидетельствует тот факт, что более половины опрошенных компаний столкнулись с инцидентами безопасности ИИ или почти произошедшими инцидентами. Многие организации по-прежнему не имеют надежного управления идентификацией и изоляции для своих ИИ-агентов, полагаясь в основном на встроенные средства контроля поставщика. Крупные поставщики решений безопасности активно приобретают компании для усиления своих возможностей в области идентификации и изоляции агентов, признавая этот недостаток в корпоративной среде.Эми Чанг, эксперт по угрозам в области ИИ, подчеркнула, что понимание того, как модели подвержены различным атакам, имеет решающее значение для выявления точек отказа. Многошаговые атаки реалистично имитируют взаимодействие человека с ИИ, выявляя вредоносные результаты, упущенные при одномоментном тестировании. Cisco выступает за самооцениваемую агентскую структуру для разработки и выполнения атак, находя, что фундаментальные, базовые принципы безопасности остаются наиболее эффективной защитой.Хизер Кейлан, директор по информационной безопасности Box, поддержала необходимость многошагового моделирования угроз, отметив, что даже при высоком уровне доверия одна ошибка агента может свести на нет накопленную уверенность. Box использует многоуровневую безопасность со строгим контролем разрешений, временными изолированными средами и средствами контроля выполнения в реальном времени для сдерживания рисков. Раджеш Парех, вице-президент по ИИ и машинному обучению Intuit, рассказал об их платформе GenOS, которая централизует управление безопасностью и рисками для ИИ-агентов, предоставляя строго ограниченные и проверяемые полномочия для выполнения задач.Кейлан прогнозирует конец традиционных человеческих проверок кода, поскольку агенты станут компетентны в выявлении и устранении уязвимостей, хотя это пока является будущей целью. Кейлан и Парех подчеркнули важность предоставления ИИ-агентам минимально необходимых привилегий для предотвращения широкого превышения полномочий. Растущие возможности и доступ ИИ-агентов расширяют поверхность атаки, требуя непрерывного тестирования и автоматизации распространенных паттернов уязвимостей.Сложность определения истинных намерений по сравнению с вероятностью во взаимодействиях с ИИ остается серьезной проблемой для отрасли. Исследование Cisco показывает, что модели в настоящее время с трудом надежно определяют намерения, что делает детерминированные средства контроля и поведенческие прокси необходимыми. В конечном итоге предприятия должны непрерывно тестировать ИИ-агентов на протяжении полных диалогов, имитируя методологии злоумышленников, чтобы избежать критических сбоев в производственной среде.