NIST, AI Güvenlik Testi için Açık Kaynaklı Bir Platform Yayınlar

Ulusal Standartlar ve Teknoloji Enstitüsü (NIST), makine öğrenimi (ML) model dayanıklılığını çeşitli saldırılara karşı test etmek için açık kaynaklı bir yazılım olan Dioptra'yı tanıttı. Dioptra'nın yeni sürümü, web tabanlı bir arayüz, kullanıcı kimlik doğrulama ve sonuçların tekrar edilebilir ve doğrulanabilir olması için kaynak izleme gibi özellikler içeriyor. NIST araştırmaları, ML saldırılarını kaçınma, zehirleme ve kehanet saldırıları olarak kategorize etmektedir. Her biri, model bütünlüğünü zayıflatmak için özel stratejilere sahip olan bu saldırılar, model performansını nasıl etkilediğini ve savunmaların, örneğin veri temizleme ve dayanıklı eğitim yöntemlerini test etmenizi sağlar. Dioptra'nın modüler tasarımı, farklı modellerle, veri kümeleriyle, saldırı taktikleriyle ve savunmalarla deneysel çalışmayı destekler, böylece geliştiricilere, kullanıcılarına, testere, denetçilere ve araştırmacılara erişilebilir hale gelir. Ayrıca, Python eklentileri ile fonksiyonelliğini artırma ve Dioptra'yı geliştirme olanağı sunar. Deneylerin tarihçeleri, izlenebilir ve tekrar edilebilir testler için takip edilir, bu da model geliştirme ve savunmalar için daha iyi anlayışlar sağlar. Dioptra'nın yanı sıra, NIST, AI risklerini yönetme, üretken AI için güvenli yazılım geliştirme ve küresel AI standartları işbirliği planı gibi üç rehber belge yayınladı. Bu belgeler, AI teknolojilerine özgü risklerle ilgili kapsamlı tavsiyeler ve uygulamalar sağlar.