NIST发布了人工智能安全测试的开源平台

美国国家标准与技术研究所（NIST）推出了Dioptra，这是一个旨在测试机器学习（ML）模型对抗各种攻击的开源软件。Dioptra的新版本包括基于Web的界面、用户身份验证和溯源跟踪，以确保结果可重复和可验证。NIST的研究将ML攻击归类为逃避攻击、毒化攻击和Oracle攻击，每种攻击都有独特的策略来损害模型的完整性。该平台允许用户评估这些攻击对模型性能的影响，并测试防御措施，如数据清洁和鲁棒训练方法。Dioptra的模块化设计支持使用不同的模型、数据集、攻击策略和防御措施的实验，使其对开发者、用户、测试人员、审核员和研究人员都可访问。它还提供了可扩展性和与Python插件的互操作性，以增强功能。实验历史被跟踪，以便进行可追溯和可重复的测试，从而为更好的模型开发和防御提供见解。除Dioptra外，NIST还发布了三份关于管理AI风险、生成AI安全软件开发和全球AI标准合作计划的指导文件。这些文件提供了详细的建议和实践，以解决AI技术的独特风险和安全开发。