NIST utgir en åpen kildekode-plattform for AI-sikkerhetstesting

Det nasjonale instituttet for standarder og teknologi (NIST) har lansert Dioptra, en åpen kildekode-programvare for å teste maskinlæring (ML) modellresistens mot forskjellige angrep. Dioptras nye versjon inkluderer funksjoner som et web-basert grensesnitt, brukerauthentisering og provenansesporing for reproduksjon og verifisering av resultater. NIST-forskning kategoriserer ML-angrep i undervinning, forgiftning og orakelangrep, hver med unike strategier for å undergrave modellintegriteten. Plattformen lar brukere vurdere hvordan disse angrepene påvirker modellprestasjonen og teste forsvar som datarensing og robust trening. Dioptras modulære design støtter eksperiment med forskjellige modeller, datasett, angrepsmetoder og forsvar, noe gjør det tilgjengelig for utviklere, brukere, testere, revisorer og forskere. Det tilbyr også utvidbarhet og interoperabilitet med Python-plugger for å forbedre funksjonaliteten. Eksperimenthistorier spores for sporbar og reproduksjon av testing, noe fører til innsikter for bedre modellutvikling og forsvar. I tillegg til Dioptra, har NIST utgitt tre veiledningsdokumenter om å håndtere AI-risiko, sikker programvareutvikling for generativ AI og en plan for global AI-standard samarbeid. Disse dokumentene gir omfattende anbefalinger og praksis for å håndtere de unike risikoene og sikker utvikling av AI-teknologier.