Эджизиаго Чоффи, ИТ-архитектор, обнаружил критическую уязвимость в безопасности ИИ-агента, которого он создал с использованием Azure OpenAI. Агент успешно прошел все свои оценки, продемонстрировав фактическую точность и выполнение задач. Однако при тестировании с учетной записью с низкими привилегиями агент получил доступ к информации, к которой пользователь не должен был иметь доступа. Это показало, что агент работал с более широкими разрешениями задания индексирования, а не с правами запрашивающего пользователя.Этот тип сбоя, когда агенты используют разрешения индексатора вместо разрешений пользователя, не является единичным случаем. Хотя Azure AI Search внедрил нативную обрезку контроля доступа на уровне документов (ACL), она не реализована повсеместно или не полностью функциональна на всех путях развертывания. Пользовательские конвейеры, подобные конвейеру Чоффи, часто обходят эти нативные функции безопасности. Кроме того, независимые исследования показывают, что значительный процент успешных атак на продуктивные агенты приводит к скрытой эксфильтрации данных, что подчеркивает более широкий класс уязвимостей безопасности.Эти пробелы в безопасности часто упускаются из виду при стандартных оценках, которые фокусируются на качестве ответов, а не на разрешениях, используемых для извлечения данных. Нативная обрезка ACL Azure AI Search, при правильной настройке с использованием принципалов на основе Entra и индексаторов SharePoint, может обеспечивать соблюдение этих границ, но пользовательский конвейер Чоффи обошел это. Основная проблема заключается в нарушении контроля доступа, когда границы авторизации сводятся к самому низкому уровню привилегий с возможностями поиска.Чоффи реализовал исправление, интегрировав фильтр пути запроса, который проверяет разрешения пользователя SharePoint перед отправкой данных в модель. Это гарантировало, что контент, к которому пользователь не может получить прямой доступ в SharePoint, не будет включен в контекстное окно агента. Хотя это сузило объем доступного контента, помощник продолжал автоматически обрабатывать около 60% входящих электронных писем. Компромиссом за повышенную безопасность является потенциально сниженная способность отвечать на вопросы, если необходимый контент заблокирован фильтрами разрешений.Платформы управления идентификацией, которые управляют жизненным циклом учетных записей служб и учетными данными, работают на другом уровне, чем границы разрешений на извлечение. Оба уровня контроля необходимы для комплексной безопасности ИИ-агентов. Простой тест с использованием двух учетных записей, одна с высокими привилегиями и одна с низкими, может выявить проблемы с соблюдением границ разрешений на извлечение в течение тридцати минут. Этот тест, сравнивающий результаты с прямым доступом к системе, показывает, возвращает ли помощник некорректно данные, выходящие за рамки предоставленных пользователю разрешений.