NIST släpper en öppen källkod-plattform för AI-säkerhetstestning

Nationella institutet för standarder och teknik (NIST) har lanserat Dioptra, en öppen källkod-programvara för att testa maskininlärningsmodellers motståndskraft mot olika attacker. Dioptras nya version inkluderar funktioner som ett webbaserat gränssnitt, användarautentisering och provenansspårning för reproducerbara och verifierbara resultat. NIST-forskning kategoriserar maskininlärningsattacker i undvikelse, förgiftning och orakelattacker, var och en med unika strategier för att undergräva modellens integritet. Plattformen tillåter användare att bedöma hur dessa attacker påverkar modellens prestanda och testa försvar som datarening och robust träning. Dioptras modulära design stöder experiment med olika modeller, dataset, attacktaktiker och försvar, vilket gör det tillgängligt för utvecklare, användare, testare, revisorer och forskare. Det erbjuder också utbyggnad och interoperabilitet med Python-plugin för att förbättra funktionerna. Experimenthistoriker spåras för spårbara och reproducerbara tester, vilket leder till insikter för bättre modellutveckling och försvar. Tillsammans med Dioptra släppte NIST också tre vägledningsdokument om hantering av AI-risker, säker mjukvaruutveckling för generativ AI och en plan för globalt AI-samarbete. Dessa dokument ger omfattande rekommendationer och praxis för att hantera de unika riskerna och utveckla säker AI-teknik.