Корпоративный ИИ смещается от простых помощников, отвечающих на вопросы, к автономным агентам, способным рассуждать и выполнять сложные задачи с минимальным контролем со стороны человека. Эта эволюция порождает новые проблемы безопасности, выходящие за рамки традиционных вопросов, таких как внедрение подсказок. Существующие модели безопасности фокусируются на идентификации и доступе, отвечая на вопросы "кто" и "что", но не учитывают непрерывное рассуждение и динамические действия ИИ-агентов. Критически новый подход, который необходим, — это "доверие во время выполнения", которое проверяет, что делает ИИ-агент во время его работы.Автономные ИИ-агенты взаимодействуют с многочисленными взаимосвязанными системами, расширяя поверхность атаки и создавая развивающиеся риски. Угрозы во время выполнения, такие как отклонение от цели, чрезмерное использование инструментов, отравление памяти, манипулирование контекстом и усиление многоагентного взаимодействия, используют эти уязвимости. Доверие во время выполнения решает эти проблемы, непрерывно проверяя поведение ИИ за пределами первоначальной аутентификации. Ключевые возможности включают проверку намерений, мониторинг поведения, обеспечение соблюдения политик, выполнение с минимальными привилегиями и контроль со стороны человека для принятия решений с высоким уровнем воздействия.Этот подход доверия во время выполнения распространяется на всю экосистему ИИ, включая серверы, инструменты, хранилища знаний и постоянную память. Улучшенная операционная видимость посредством ведения журналов и аналитики имеет решающее значение для понимания процесса принятия решений агентом. Организации должны интегрировать доверие во время выполнения в существующее управление, инвентаризируя агентов, применяя принцип минимальных привилегий и отслеживая аномалии. По мере того как ИИ становится более автономным, безопасность должна сместиться от первоначальной аутентификации к непрерывной проверке безопасного поведения на протяжении всего жизненного цикла агента. Будущая безопасность ИИ будет зависеть от установления и измерения доверия в режиме реального времени во время принятия решений ИИ.