Le NIST publie une plateforme open-source pour les tests de sécurité de l'IA

L'Institut national des normes et de la technologie (NIST) a introduit Dioptra, un logiciel open-source pour tester la résilience des modèles d'apprentissage automatique (ML) contre diverses attaques. La nouvelle version de Dioptra comprend des fonctionnalités telles qu'une interface web, l'authentification utilisateur et la traçabilité de la provenance pour des résultats reproductibles et vérifiables. Les recherches du NIST classent les attaques ML en trois catégories : attaques d'évasion, d'empoisonnement et d'oracle, chacune avec des stratégies distinctes pour miner l'intégrité du modèle. La plateforme permet aux utilisateurs d'évaluer comment ces attaques affectent les performances du modèle et de tester des défenses telles que la sanitization des données et les méthodes de formation robustes. La conception modulaire de Dioptra permet l'expérimentation avec différents modèles, ensembles de données, tactiques d'attaque et défenses, ce qui le rend accessible aux développeurs, utilisateurs, testeurs, auditeurs et chercheurs. Il offre également une extensibilité et une interopérabilité avec des plugins Python pour améliorer la fonctionnalité. Les historiques d'expérience sont suivis pour des tests traçables et reproductibles, conduisant à des insights pour un meilleur développement de modèles et de défenses. En plus de Dioptra, le NIST a publié trois documents de conseils sur la gestion des risques liés à l'IA, le développement de logiciels sécurisés pour l'IA générative et un plan pour la coopération mondiale en matière de normes d'IA. Ces documents fournissent des recommandations et des pratiques exhaustives pour aborder les risques uniques et le développement sécurisé des technologies d'IA.