Атаки косвенного внедрения зап... Заметка

Атаки косвенного внедрения запросов в ассистентов на основе больших языковых моделей

Научная статья "Приглашение - это все, что вам нужно!" исследует практические и опасные атаки с использованием вредоносных подсказок на помощников на базе LLM. Promptware (вредные подсказки) относится к вредоносным подсказкам, предназначенным для компрометации безопасности приложений, использующих LLM. Исследование изучает риски, которые promptware представляет для пользователей помощников на базе Gemini, включая веб-версии, мобильные приложения и Google Assistant. Для оценки этих рисков для конечных пользователей была разработана новая система анализа угроз и оценки рисков (TARA). В исследовании представлены целевые атаки с использованием promptware, новый вариант, использующий косвенное внедрение подсказок через распространенные пользовательские взаимодействия, такие как электронные письма и приглашения в календаре. Были продемонстрированы четырнадцать сценариев атак в пяти классах угроз: краткосрочное отравление контекста, постоянное отравление памяти, неправильное использование инструментов, автоматический вызов агента и автоматический вызов приложений. Эти атаки могут привести к различным цифровым и физическим последствиям, таким как спам, фишинг, дезинформация, утечка данных и управление устройствами домашней автоматизации. Статья раскрывает возможности promptware для бокового перемещения на устройстве, позволяя выполнять вредоносные действия за пределами приложения LLM. Система TARA показала, что 73% проанализированных угроз представляли высокий или критический риск для конечных пользователей. Исследователи обсудили меры по смягчению последствий, показав, что они могут снизить риски до очень низкого или среднего уровня. Google развернула специальные меры по смягчению последствий, основанные на выводах, раскрытых исследователями.