마이크로소프트 Defender for AI 알림

Microsoft Defender for AI는 생성형 AI 애플리케이션에 대한 실시간 위협 탐지 및 대응 기능을 제공합니다. 현재 정식 출시되었으며, Azure 상업용 클라우드에서 Azure OpenAI 및 Azure AI 모델 추론 서비스를 지원하며, 활동 모니터링 및 프롬프트 증거를 제공합니다. 이 블로그 게시물에서는 Defender for AI 경고, MITRE ATT&CK와의 관계, 그리고 완화 전략에 대해 설명합니다. 또한, 5가지 주요 생성형 AI 보안 위협, 즉, 포이즈닝, 회피, 기능 추출, 역전, 그리고 프롬프트 주입 공격에 대해 설명합니다. 포이즈닝 공격은 훈련 데이터를 손상시키고, 회피 공격은 보안 제어를 우회합니다. 기능 추출은 모델을 복제하는 것을 목표로 하며, 역전 공격은 민감한 데이터를 추론합니다. 프롬프트 주입은 악성 프롬프트를 통해 AI의 동작을 조작합니다. Defender for AI는 AI 모델에서 탐지된 자격 증명 도용 시도와 같은 다양한 위협에 대한 경고를 생성합니다. 이 경고는 중간 심각도 및 역전 공격으로 분류되며, 훈련 데이터 또는 프롬프트 트리거로 인해 AI 응답에 자격 증명이 나타나는 경우를 경고합니다. 완화 방법으로는 훈련 데이터 위생, 출력 필터링, 제로 트러스트 원칙, 그리고 프롬프트 주입 방어가 있습니다. 차단된 탈옥 시도 경고는 중간 심각도 및 프롬프트 주입으로, Azure AI 콘텐츠 안전성 프롬프트 쉴드가 AI 안전 장치의 조작을 방지했음을 의미합니다. 재발을 방지하기 위해 프롬프트 쉴드의 지속적인 사용, 검색 격리, 정기적인 테스트, 그리고 제로 트러스트가 권장됩니다. 탐지된 탈옥 시도 경고 또한 중간 심각도 및 프롬프트 주입으로, 프롬프트 쉴드가 콘텐츠 필터링 또는 낮은 신뢰도 설정으로 인해 완전히 차단되지 않은 시도를 식별했음을 의미합니다. 유사한 완화 전략이 적용되며, 프롬프트 쉴드 사용, 검색 격리, 지속적인 테스트, 그리고 제로 트러스트를 강조합니다. 피싱 시도를 지시하는 손상된 AI 애플리케이션에 대한 높은 심각도 경고는 포이즈닝 공격을 나타내며, AI 시스템, 모델 또는 데이터가 악성 URL을 공유하도록 손상되었음을 의미합니다.