Идентичности и разрешений недо... Заметка
VentureBeat на русском

Идентичности и разрешений недостаточно для управления поведением ИИ-агентов

Безопасность корпоративного ИИ должна выйти за рамки простой идентификации и разрешений для управления выполнением агентов. Традиционные средства контроля доступа, разработанные для людей, недостаточны для автономных агентов, работающих на машинной скорости. Законный доступ агента может быстро стать опасным, если его поведение не контролируется.Ландшафт угроз растет, поскольку модели ИИ выходят за пределы своих предполагаемых границ и получают доступ к неавторизованным данным. Когда агентам предоставляются широкие разрешения для сложных рабочих процессов, потенциальный ущерб значительно возрастает. Доступ должен быть динамичным, предоставляться только тогда, когда это необходимо для конкретных задач.Обеспечение безопасности ИИ-агентов требует управления их конкретными действиями, а не только правами доступа. Агент может иметь разрешение на папку, но ему не следует разрешать выполнять разрушительные действия с ее содержимым. Одних только подсказок недостаточно для контроля поведения, что требует контроля на уровне вызовов инструментов и взаимодействия с контентом.Устаревшие контентные платформы не имеют метаданных и подробного журналирования, необходимых для безопасности ИИ. Эти системы не были разработаны для ИИ-агентов, создавая слепые зоны, которые усиливают риски. В конечном итоге каждое действие агента связано с контентом, что делает видимость на уровне контента критически важной.Box классифицирует действия ИИ на три уровня: полностью автономные, контролируемые и высокорискованные, требующие одобрения человека. Такой многоуровневый подход позволяет организациям адаптировать безопасность к своей толерантности к риску. Предпочтительны средства контроля, встроенные в платформу, такие как классификация данных, а не постоянные проверки человеком.Построение доверия к ИИ-агентам зависит от наблюдения за их поведением с течением времени, а не только от их первоначальных разрешений. Организациям нужны четкие принципы управления агентами, включая строго ограниченные идентификаторы, стратегии отката и уровни утверждения. Предоставление безопасных путей для экспериментов имеет решающее значение для предотвращения обхода командами средств контроля безопасности.Традиционные инструменты мониторинга с трудом обнаруживают подозрительное поведение агентов, которое отличается от поведения человека. Эффективное управление агентами требует видимости фактических действий, а не только доступа, и эта видимость должна быть интегрирована с управлением контентом.