Архитектура безопасности для а... Заметка

Архитектура безопасности для агентных возможностей в Chrome

Chrome внедряет новые меры безопасности для своих возможностей браузинга с использованием ИИ-агентов. Основная угроза — это косвенная инъекция подсказок, когда вредоносные сайты могут обманом заставить агентов совершать опасные действия. Для борьбы с этим Chrome применяет многоуровневую стратегию защиты. Ключевым нововведением является "Критик согласованности с пользователем" (User Alignment Critic) — отдельная модель ИИ, которая проверяет действия агента на соответствие задаче, предотвращая непреднамеренные последствия. Chrome также расширяет свои принципы изоляции источников с помощью "Наборов источников агентов" (Agent Origin Sets). Это ограничивает взаимодействие агентов только с релевантными веб-сайтами и данными для их текущей задачи. Эти наборы источников разделены на категории "только для чтения" и "для чтения и записи", ограничивая доступ к данным. Кроме того, Chrome обеспечивает прозрачность и контроль для пользователя с помощью подробного журнала действий и подтверждений пользователя для чувствительных действий. Детерминированные проверки и классификаторы на основе моделей выявляют и предотвращают попытки инъекции подсказок. Постоянный аудит и тестирование на проникновение используются для проверки этих защитных мер против развивающихся угроз. Chrome также сотрудничает с сообществом исследователей безопасности, предлагая вознаграждения за выявление уязвимостей. Цель — обеспечить безопасную основу для работы ИИ-агентов в Chrome.