RSS Блог "След бит"
Подписаться
Использование моделирования угроз и внедрения подсказок для аудита Comet
Perplexity наняла Trail of Bits для тестирования безопасности функций браузера Comet на базе искусственного интеллекта перед запуском. Они использовали состязательное тестирование с использованием своей модели угроз TRAIL, уделяя особое внимание уязвимостям внедрения запросов. Были обнаружены четыре метода внедрения запросов, которые могли извлекать адреса электронной почты пользователей из Gmail. Эти методы подчеркнули риски, когда агенты ИИ рассматривают внешний контент как доверенный ввод. Trail of Bits изложила пять рекомендаций по безопасности для компаний, разрабатывающих продукты на базе ИИ. Ассистент браузера Comet, взаимодействуя в веб-страницах, получает доступ к информации и взаимодействует с браузером. В отчете были определены две основные зоны доверия: машина пользователя и серверы Perplexity. Выявленные эксплойты были направлены на кражу адресов электронной почты пользователей путем использования функциональности ИИ для обобщения. Эффективность была повышена при комбинировании и использовании различных методов, таких как поддельные меры безопасности. Такой подход к тестированию подчеркивает важность понимания специфичных для ИИ векторов атак.
