GPT-Red — это автоматизированная модель для красного тестирования, которую OpenAI обучает для поиска уязвимостей в инъекциях промптов. Она работает так же, как и человек, занимающийся красным тестированием. Она отправляет промпт, наблюдает за ответом модели GPT и итеративно движется к цели, такой как успешная эксфильтрация данных. Обучение проходит на основе самообучения с подкреплением, где GPT-Red и набор моделей-защитников учатся одновременно во множестве сценариев. Атакующий получает вознаграждение за вызов допустимого сбоя. …