NIST, AI 안전 테스트를 위한 오픈 소스 플랫폼 출시

국가 표준 기술 연구소(NIST)는 기계 학습(ML) 모델의 다양한 공격에 대한 저항성을 테스트하는 오픈 소스 소프트웨어인 Dioptra를 출시했습니다. Dioptra의 새로운 버전에는 웹 기반 인터페이스, 사용자 인증 및 재현 가능하고 검증 가능한 결과를 위한 증명 추적 기능이 포함되어 있습니다. NIST의 연구는 ML 공격을 회피, 독성 및 오라클 공격으로 분류하며, 각 공격은 모델의egrity를 훼손하는 고유한 전략을 가지고 있습니다. 이 플랫폼을 사용하면 이러한 공격이 모델 성능에 미치는 영향을 평가하고, 데이터 정제 및 강력한 훈련 방법과 같은 방어책을 테스트할 수 있습니다. Dioptra의 모듈식 설계는 다양한 모델, 데이터 세트, 공격 전략 및 방어책을 실험하는 데 사용할 수 있습니다. 또한 Python 플러그인을 통해 기능을 확장하고 상호 운용성을 지원합니다. 실험 이력은 추적되어 테스트의 재현 가능성과 추적 가능성을 향상시켜 모델 개발 및 방어책에 대한 통찰을 제공합니다. Dioptra와 함께 NIST는 AI 위험 관리, 생성 AI 소프트웨어 개발 보안 및 글로벌 AI 표준 협력 계획에 대한 세 가지 지침 문서를 출시했습니다. 이러한 문서는 AI 기술의 고유한 위험 및 개발 보안을 해결하는 포괄적인 권장 사항 및 실제를 제공합니다.