Разделение безопасности агента... Заметка
DZone.com Feed на русском

Разделение безопасности агента: уровень инструментов против уровня песочницы

Когда предприятие задает вопрос: «Безопасна ли ваша платформа агентов?», этот вопрос почти всегда представляет собой совокупность двух различных архитектурных проблем:Слой инструментов: Может ли агент вызывать только одобренные нами инструменты? Проверяются ли входные и выходные данные инструментов? Не попадают ли учетные данные в контекст LLM? Аудируются ли вызовы? Слой песочницы: Когда инструмент выполняет код, просматривает веб-страницы или обращается к командной оболочке — изолировано ли это выполнение от хоста? Может ли оно получить доступ к внутренним сетям? Может ли оно записывать данные за пределами рабочего каталога?Эти аспекты кажутся смежными, но они дают сбой по-разному. Сбой слоя инструментов происходит, когда агент вызывает что-то, к чему он не должен иметь доступа — это можно исправить, ужесточив реестр инструментов. Сбой слоя песочницы происходит, когда одобренный инструмент скомпрометирован во время выполнения (например, уязвимость нулевого дня в Chromium, эксплуатируемая через вредоносную страницу) — это можно исправить только путем ограничения доступа среды выполнения.