VU#667211: Различные GPT-сервисы уязвимы к "Inception" джейлбрейку, что позволяет обходить защитные механизмы безопасности.
Обнаружены два системных джейлбрейка (способа обхода ограничений), которые затрагивают множество генеративных сервисов искусственного интеллекта, позволяя злоумышленникам обходить протоколы безопасности и создавать запрещенный или опасный контент. Первый джейлбрейк, названный "Inception" ("Начало"), включает в себя побуждение ИИ представить себе вымышленный сценарий, который затем можно адаптировать для обхода защитных барьеров. Второй джейлбрейк включает в себя запрос информации о том, как не отвечать на определенный запрос, что позволяет злоумышленникам переключаться между незаконными и обычными запросами. Оба джейлбрейка используют почти одинаковый синтаксис и влияют на многие популярные ИИ-системы, что указывает на системную слабость. Среди затронутых поставщиков: OpenAI, Anthropic, Microsoft, Google, Twitter/X, Facebook и другие. Эти джейлбрейки, сами по себе имеющие низкую степень опасности, могут быть использованы мотивированными злоумышленниками для достижения вредоносных целей, таких как создание контента на запрещенные темы. Системный характер этих джейлбрейков повышает риск атаки, а использование легальных сервисов может скрыть злонамеренную деятельность. Различные затронутые поставщики предоставили заявления по этому вопросу и внесли изменения в свои сервисы, чтобы предотвратить джейлбрейк. Репортеры Дэвид Кужмар и Джейкоб Лиддл обнаружили джейлбрейки, а Кристофер Каллен написал документ. Эти джейлбрейки имеют серьезные последствия для безопасности и надежности ИИ-сервисов.