NIST lanceert een open-source-platform voor AI-veiligheidstesten

Instituut voor Standaarden en Technologie (NIST) heeft Dioptra geïntroduceerd, een open-source software voor het testen van de veerkracht van machine learning (ML) modellen tegen diverse aanvallen. Dioptra's nieuwe versie omvat functies zoals een webgebaseerde interface, gebruikersauthenticatie en spoorbaarheidstracking voor reproduceerbare en verifieerbare resultaten. NIST-onderzoek categoriseert ML-aanvallen in ontwijkings-, vergiftigings- en orakel-aanvallen, elk met unieke strategieën om de modelintegriteit te ondermijnen. Het platform stelt gebruikers in staat om te beoordelen hoe deze aanvallen de modelprestaties beïnvloeden en verdedigingsmethoden zoals gegevenszuivering en robuuste trainingsmethoden te testen. Dioptra's modulaire ontwerp ondersteunt experimenten met verschillende modellen, datasets, aanvalstactieken en verdedigingsmethoden, waardoor het toegankelijk is voor ontwikkelaars, gebruikers, testers, auditors en onderzoekers. Het biedt ook uitbreidbaarheid en interoperabiliteit met Python-plug-ins om de functionaliteit te verbeteren. Experimenthistorieën worden bijgehouden voor traceerbare en reproduceerbare testen, leidend tot inzichten voor betere modelontwikkeling en verdediging. Naast Dioptra heeft NIST drie richtlijndocumenten over AI-risicobeheer, veilige software-ontwikkeling voor generatieve AI en een plan voor wereldwijde AI-standaarden-samenwerking vrijgegeven. Deze documenten bieden omvattende aanbevelingen en praktijken om de unieke risico's en veilige ontwikkeling van AI-technologieën aan te pakken.