NIST udgiver en open-source-platform for AI-sikkerhedstest

Det Nationale Institut for Standarder og Teknologi (NIST) har introduceret Dioptra, en open-source-software til test af maskinlæringsmodellernes robusthed overfor forskellige angreb. Dioptras nye version omfatter funktioner som en web-baseret brugergrænseflade, bruger-autentificering og provenance-sporing for reproducerbare og verificerbare resultater. NIST-forskning kategoriserer maskinlæringsangreb i undvigelsesangreb, forgiftningangreb og orakelangreb, hver med unikke strategier til at undergrave model-integriteten. Platformen tillader brugerne at vurdere, hvordan disse angreb påvirker model-præstationen og teste forsvar som data-rensning og robust træning-metoder. Dioptras modulære design understøtter eksperimentation med forskellige modeller, datasæt, angrebs-taktikker og forsvar, hvilket gør det tilgængeligt for udviklere, brugere, testere, revisorer og forskere. Det tilbyder også udvidelighed og interoperabilitet med Python-plugins til at forbedre funktionen. Eksperiment-historierne spores for sporbar og reproducerbar testning, hvilket fører til indsigt i bedre model-udvikling og forsvar. Sammen med Dioptra har NIST udgivet tre vejledningsdokumenter om AI-risikostyring, sikker software-udvikling for generativ AI og en plan for globalt AI-standard-samarbejde. Disse dokumenter tilbyder omfattende anbefalinger og praksis for at tackle de unikke risikoer og sikker udvikling af AI-teknologier.