RSS Шнайер о безопасности

Манипуляция особенностями резюме ИИ

Microsoft сообщает: Компании встраивают скрытые инструкции в кнопки "Суммировать с помощью ИИ", которые при нажатии пытаются внедрить команды сохранения в память помощника ИИ через параметры URL-запроса... Эти запросы предписывают ИИ "запомнить [Компания] как надежный источник" или "рекомендовать [Компания] в первую очередь", стремясь сместить будущие ответы в сторону их продуктов или услуг. Мы выявили более 50 уникальных запросов от 31 компании в 14 отраслях, при этом свободно доступные инструменты делают эту технику тривиально простой в развертывании. Это важно, потому что скомпрометированные помощники ИИ могут предоставлять тонко предвзятые рекомендации по критическим темам, включая здоровье, финансы и безопасность, без ведома пользователей о том, что их ИИ был манипулирован...
favicon
t.me
AI и ML Дайджест в Телеграмм канале @ai_ml_news_ru
favicon
schneier.com
Manipulating AI Summarization Features