NISTがAI安全テストのためのオープンソースプラットフォームをリリース

米国国立標準技術研究所（NIST）は、機械学習（ML）モデルが攻撃に対してどの程度耐えるかをテストするためのオープンソースソフトウェア「Dioptra」を導入しました。Dioptraの新しいバージョンには、ウェブベースのインターフェース、ユーザー認証、および再現可能で検証可能な結果を実現するためのプロベナンス・トラッキングが含まれています。NISTの研究では、ML攻撃を回避攻撃、毒物攻撃、およびOracle攻撃の3つのカテゴリに分類し、それぞれがモデルの一貫性を損なうための独特の戦略を使用します。このプラットフォームではこれらの攻撃がモデル性能に与える影響を評価し、データのサニタイゼーションやロバストトレーニングメソッドなどの防御戦略をテストできます。Dioptraのモジュラーデザインは、異なるモデル、データセット、攻撃戦略、および防御戦略を実験することをサポートし、開発者、ユーザー、テスター、監査官、研究者がアクセスできます。また、Pythonプラグインとの互換性と拡張性を提供し、機能を向上させています。実験の歴史は、追跡可能で再現可能なテストのために記録され、モデル開発と防御のための洞察を生み出します。Dioptraと同時に、NISTはAIリスク管理、ジェネレーティブAIのセキュアソフトウェア開発、およびグローバルAI標準協力計画の3つのガイダンス文書を公開しました。これらの文書は、AI技術の固有のリスクとセキュア開発に対処するための包括的な推奨事項と慣行を提供します。