AI Red Team в NVIDIA провела шестимесячную оценку корпоративных ИИ-агентов в 2026 году. Обзор показал, что ИИ-агенты, которые потерпели неудачу, сделали это по четырем основным причинам, включая отсутствие средств контроля доступа и возможностей для выполнения произвольного кода. Агенты также не имели ограничений на исходящие сетевые подключения или сегментацию, и им были доступны секреты в открытом виде. Проблема с этими ИИ-агентами носит в своей основе архитектурный характер, что затрудняет защиту от сбоев. Плоскость управления модели не является надежным механизмом защиты из-за ее статистической природы. Защиту, полагающуюся на плоскость управления, можно обойти тремя основными способами, включая маскировку вредоносных действий под законные. Другой способ обойти защиту — постепенная эскалация диалога до тех пор, пока не накопится достаточно истории для установления законности команд. Третий способ включает встраивание выполнения кода в законное поведение, например, при установке пакета. Результаты обзора подчеркивают необходимость более надежных мер безопасности для предотвращения сбоев ИИ-агентов. В целом, обнаружение этих уязвимостей подчеркивает важность устранения архитектурных недостатков в ИИ-агентах для обеспечения их безопасной и надежной работы.