Своевременные прививки для защ... Заметка

Своевременные прививки для защиты

"Похоже, это работает:Исследователи из Tracebit в понедельник заявили, что обнаружили, что размещение инъекций подсказок рядом с паролями, криптографическими ключами и другими секретами, хранящимися в Amazon Web Services, часто было всем, что требовалось для прекращения атак со стороны ИИ-хакеров. Подсказки направляют атакующий LLM на выполнение действия, запрещенного его защитными механизмами, — барьерами безопасности, которые разработчики ИИ возводят, чтобы предотвратить вредоносные действия. LLM отвечает отключением.Примерами являются подсказка, которая приказывает LLM предоставить шаги для разработки ингаляционных спор сибирской язвы, или, в случае LLM от китайских разработчиков, сделать ссылки на культового "Танкового человека" с площади Тяньаньмэнь 1989 года. Как только LLM сталкивается с этими запрещенными командами, он больше не следует своим существующим командам. Исследователи назвали эту технику "контекстным бомбардированием"..."