Атаки непрямого внедрения подс... Заметка

Атаки непрямого внедрения подсказок на LLM-ассистентов

Интеграция больших языковых моделей (LLM) в приложения создает новые уязвимости в сфере безопасности, в частности, Promptware. Promptware использует вредоносные запросы (prompts) для компрометации триады CIA (конфиденциальность, целостность, доступность) этих приложений. Данное исследование оценивает риски Promptware для пользователей помощников на базе Gemini с помощью новой структуры TARA. Исследование фокусируется на целевых атаках Promptware, используя непрямые инъекции запросов через обычные взаимодействия пользователей. Были продемонстрированы четырнадцать сценариев атак на помощников Gemini в пяти классах угроз. Эти атаки имеют цифровые и физические последствия, такие как рассылка спама, фишинг и управление домашней автоматизацией. Исследование выявляет потенциал Promptware для бокового перемещения по сети устройств за пределы границ приложения LLM. Анализ TARA показывает, что 73% угроз представляют высокий критический риск для пользователей. Были обсуждены меры по снижению риска. Результаты были переданы Google, которая внедрила специальные меры защиты. Исследование подчеркивает реальные опасности Promptware и важность мер безопасности.