O NIST lança uma plataforma de código aberto para testes de segurança de IA

O Instituto Nacional de Padrões e Tecnologia (NIST) introduziu o Dioptra, um software de código aberto para testar a resistência de modelos de aprendizado de máquina (ML) contra vários ataques. A nova versão do Dioptra inclui recursos como interface web, autenticação de usuário e rastreamento de proveniência para resultados reproduzíveis e verificáveis. A pesquisa do NIST categoriza os ataques ML em ataques de evasão, envenenamento e oráculo, cada um com estratégias únicas para minar a integridade do modelo. A plataforma permite que os usuários avaliem como esses ataques afetam o desempenho do modelo e testem defesas como sanitização de dados e métodos de treinamento robustos. O design modular do Dioptra apoia a experimentação com diferentes modelos, conjuntos de dados, táticas de ataque e defesas, tornando-o acessível a desenvolvedores, usuários, testadores, auditores e pesquisadores. Além disso, oferece extensibilidade e interoperabilidade com plugins Python para aumentar a funcionalidade. As histórias de experimentos são rastreadas para testes traçáveis e reproduzíveis, levando a insights para um melhor desenvolvimento de modelos e defesas. Além do Dioptra, o NIST lançou três documentos de orientação sobre gerenciamento de riscos de IA, desenvolvimento de software seguro para IA geradora e um plano para cooperação global em padrões de IA. Esses documentos fornecem recomendações e práticas abrangentes para abordar os riscos únicos e o desenvolvimento seguro de tecnologias de IA.