NIST julkaisee avoimen lähdekoodin alustan tekoälyn turvallisuustestaukseen

Kansallinen standardointi- ja teknologiainstituutti (NIST) on esittänyt Dioptran, avoimen lähdekoodin ohjelmiston, jota käytetään testaamaan koneoppimis- (ML) mallien kestävyyttä erilaisia hyökkäyksiä vastaan. Dioptran uusi versio sisältää ominaisuudet kuten web-pohjaisen käyttöliittymän, käyttäjäautentikaation ja alkuperäjäljityksen, jotta tulokset ovat toistettavissa ja vahvistettavissa. NIST:n tutkimus kategorisoi ML-hyökkäykset välttämiseen, myrkyttämiseen ja oraakkelihyökkäyksiin, joilla on erilaiset strategiat mallin eheyyden vaarantamiseksi. Alusta sallii käyttäjien arvioida, kuinka nämä hyökkäykset vaikuttavat mallin suorituskykyyn ja testata puolustuskeinoja, kuten datan puhdistamista ja vahvaa koulutusmenetelmiä. Dioptran modulaarinen suunnittelu tukee kokeilua eri malleilla, tietokannoilla, hyökkäyshänkeillä ja puolustuskeinoilla, mikä tekee siitä käyttäjäystävällisen kehittäjille, käyttäjille, testaajille, tarkastajille ja tutkijoille. Se tarjoaa myös laajennettavuuden ja yhteensopivuuden Python-liitännäisten kanssa, mikä lisää toiminnallisuutta. Kokeiluhistoriat seurataan, jotta tulokset ovat toistettavissa ja jäljitettävissä, mikä johtaa näkemyksiin paremman mallin kehittämiseksi ja puolustuskeinoiksi. Dioptran lisäksi NIST julkaisi kolme ohjeistodokumenttia, jotka koskevat AI-riskien hallintamista, turvallista ohjelmistokehitystä generatiiviselle AI:lle ja suunnitelman globaalista AI-standardien yhteistyöstä. Nämä dokumentit tarjoavat kattavat suositukset ja käytännöt AI-teknologioiden erityisten riskien ja turvallisen kehittämisen osoittamiseksi.