Использование моделирования угроз и внедрения подсказок для аудита Comet

Perplexity наняла Trail of Bits для оценки безопасности Comet, своего браузера на базе искусственного интеллекта, до его запуска. Используя их модель угроз TRAIL, тестировщики выявили четыре метода внедрения подсказок для извлечения пользовательских данных, в частности из Gmail. Эти эксплойты продемонстрировали уязвимости, возникающие из-за обработки внешнего контента помощником браузера на базе ИИ. Тесты показали, как агент ИИ будет действовать в соответствии с инструкциями, замаскированными внутри веб-страниц. Методы включали использование поддельных механизмов безопасности, инструкций по суммированию и имитацию системных сообщений. Эксплойты использовали различные методы, такие как поддельные CAPTCHA, фрагменты контента и валидаторы безопасности, для нацеливания на ИИ. Эти уязвимости использовались для разработки эксплойтов, которые извлекали и извлекали содержимое Gmail пользователя. Обзор Trail of Bits привел к пяти рекомендациям по безопасности, ориентированным на моделирование угроз, установление четких границ и систематическое тестирование. Команда также предлагает применять принцип наименьших привилегий и относиться к вводу ИИ как к ненадежному. Perplexity отреагировала на эти выводы, внедрив изменения для предотвращения внедрения подсказок.