IL NIST rilascia una piattaforma open-source per la sicurezza delle prove di AI

L'Istituto Nazionale di Standard e Tecnologia (NIST) ha introdotto Dioptra, un software open-source per testare la resistenza dei modelli di apprendimento automatico (ML) contro vari attacchi. La nuova versione di Dioptra include funzionalità come un'interfaccia web, autenticazione utente e tracciamento della provenienza per risultati riproducibili e verificabili. La ricerca del NIST categorizza gli attacchi ML in evasion, avvelenamento e attacchi oracle, ognuno con strategie uniche per minare l'integrità del modello. La piattaforma consente agli utenti di valutare come questi attacchi influenzano le prestazioni del modello e di testare difese come la sanitizzazione dei dati e metodi di addestramento robusti. Il design modulare di Dioptra supporta l'esperimentazione con diversi modelli, set di dati, tattiche di attacco e difese, rendendolo accessibile a sviluppatori, utenti, tester, revisori e ricercatori. Offre inoltre estensibilità e interoperabilità con plugin Python per aumentare la funzionalità. Le storie degli esperimenti vengono tracciate per test riproducibili e tracciabili, portando a intuizioni per un migliore sviluppo di modelli e difese. Insieme a Dioptra, il NIST ha pubblicato tre documenti di orientamento su come gestire i rischi dell'IA, lo sviluppo di software sicuro per l'IA generativa e un piano per la cooperazione globale sugli standard dell'IA. Questi documenti forniscono raccomandazioni e pratiche complete per affrontare i rischi unici e lo sviluppo sicuro delle tecnologie dell'IA.