El NIST lanza una plataforma de código abierto para pruebas de seguridad de IA

El Instituto Nacional de Estándares y Tecnología (NIST) ha presentado Dioptra, un software de código abierto para probar la resistencia de los modelos de aprendizaje automático (ML) contra varios ataques. La nueva versión de Dioptra incluye características como una interfaz web, autenticación de usuario y seguimiento de procedencia para resultados reproducibles y verificables. La investigación de NIST clasifica los ataques ML en ataques de evasión, envenenamiento y oráculo, cada uno con estrategias únicas para socavar la integridad del modelo. La plataforma permite a los usuarios evaluar cómo estos ataques afectan el rendimiento del modelo y probar defensas como la sanitización de datos y métodos de entrenamiento robustos. El diseño modular de Dioptra admite experimentos con diferentes modelos, conjuntos de datos, tácticas de ataque y defensas, lo que lo hace accesible para desarrolladores, usuarios, testers, auditores e investigadores. También ofrece extensibilidad e interoperabilidad con plugins de Python para aumentar la funcionalidad. Las historias de experimentos se rastrean para pruebas trazables y reproducibles, lo que conduce a nuevas ideas para un mejor desarrollo de modelos y defensas. Junto con Dioptra, NIST lanzó tres documentos de orientación sobre la gestión de riesgos de IA, desarrollo de software seguro para IA generativa y un plan para la cooperación global en estándares de IA. Estos documentos proporcionan recomendaciones y prácticas exhaustivas para abordar los riesgos únicos y el desarrollo seguro de las tecnologías de IA.