NIST veröffentlicht eine Open-Source-Plattform für die Sicherheitsprüfung von KI

Das National Institute of Standards and Technology (NIST) hat Dioptra vorgestellt, eine Open-Source-Software, um die Widerstandsfähigkeit von Machine-Learning-Modellen (ML) gegen verschiedene Angriffe zu testen. Die neue Version von Dioptra enthält Funktionen wie eine webbasierte Schnittstelle, Benutzerauthentifizierung und Herkunftsnachverfolgung für reproduzierbare und verifizierbare Ergebnisse. Die Forschung des NIST kategorisiert ML-Angriffe in Evasion, Poisoning und Oracle-Angriffe, jede mit eigenen Strategien, um die Integrität des Modells zu untergraben. Die Plattform ermöglicht es Benutzern, zu bewerten, wie diese Angriffe die Modellleistung beeinträchtigen, und Verteidigungsmechanismen wie Datenreinigung und robuste Trainingsmethoden zu testen. Dioptras modulares Design unterstützt Experimente mit verschiedenen Modellen, Datensätzen, Angriffstaktiken und Verteidigungsmechanismen, was es für Entwickler, Benutzer, Tester, Audits und Forscher zugänglich macht. Es bietet auch Erweiterbarkeit und Interoperabilität mit Python-Plug-ins, um die Funktionalität zu erweitern. Experimentierhistorien werden für nachvollziehbare und reproduzierbare Tests verfolgt, was zu Erkenntnissen für eine bessere Modellentwicklung und Verteidigung führt. Zusammen mit Dioptra veröffentlichte das NIST drei Leitdokumente über die Risikobewältigung von KI, sichere Softwareentwicklung für generative KI und einen Plan für eine globale KI-Standards-Zusammenarbeit. Diese Dokumente bieten umfassende Empfehlungen und Praktiken, um die spezifischen Risiken und die sichere Entwicklung von KI-Technologien zu adressieren.