Microsoft Defender для AI-оповещений

Microsoft Defender for AI обеспечивает обнаружение угроз и реагирование в режиме реального времени для приложений генеративного ИИ. Он общедоступен и охватывает службы Azure OpenAI и Azure AI Model Inference в Azure Commercial Cloud, предоставляя мониторинг активности и доказательства запросов. В этой статье объясняются оповещения Defender for AI, их связь с MITRE ATT&CK и стратегии смягчения последствий. Также описываются пять основных угроз безопасности генеративного ИИ: атаки отравления, уклонения, извлечения функциональности, инверсии и внедрения запросов. Атаки отравления повреждают обучающие данные, в то время как атаки уклонения обходят средства контроля безопасности. Извлечение функциональности направлено на репликацию модели, а атаки инверсии выводят конфиденциальные данные. Внедрение запросов манипулирует поведением ИИ с помощью вредоносных запросов. Defender for AI генерирует оповещения о различных угрозах, таких как обнаруженные попытки кражи учетных данных у моделей ИИ. Это оповещение, классифицированное как угроза средней степени тяжести и атака инверсии, предупреждает о появлении учетных данных в ответах ИИ, часто из-за обучающих данных или триггеров запросов. Смягчение последствий включает гигиену обучающих данных, фильтрацию вывода, принципы нулевого доверия и защиту от внедрения запросов. Оповещение о заблокированной попытке джейлбрейка, средней степени тяжести и внедрение запроса, означает, что Azure AI Content Safety Prompt Shields предотвратили манипулирование механизмами защиты ИИ. Чтобы избежать повторения, рекомендуется постоянное использование Prompt Shields, изоляция извлечения, регулярное тестирование и нулевое доверие. Оповещение об обнаруженной попытке джейлбрейка, также средней степени тяжести и внедрение запроса, означает, что Prompt Shields обнаружили попытку, которая не была полностью заблокирована из-за фильтрации контента или настроек низкой уверенности. Применяются аналогичные стратегии смягчения последствий, подчеркивающие использование Prompt Shields, изоляцию извлечения, постоянное тестирование и нулевое доверие. Высокоприоритетное оповещение о поврежденном приложении ИИ, направляющем фишинговые атаки, указывает на атаку отравления, при которой система ИИ, модель или данные были скомпрометированы для распространения вредоносных URL-адресов.