DEV Community 日本語
フォロー
AIペンテストにおいて、モデルメモリよりも証拠が重要である理由
再現不可能なAIの発見は、確定的な結果ではなく、負債と見なされます。Darkmoonは、すべての発見に正確なコマンドと生のツール出力を付加することで、この問題に対処し、人間のピアレビューを可能にします。従来のAIセキュリティツールは、多くの場合、信頼度スコアとテキストによる説明のみを提供しますが、これは攻撃的セキュリティには不十分です。脆弱性を確認した特定のコマンドを示す能力は、レポートや会議での発見を防御するために不可欠です。Darkmoonは、実行されたコマンド、その生の出力、およびそれらを結びつける理由を各発見に対して保存します。このアプローチは、発見を再現可能な成果物に変換し、盲目的な信頼の必要性を排除します。より大きなモデルはエラーを減らすことができますが、完全に排除するわけではありません。Darkmoonのエビデンス・トレイルは、人間が残りのエラーを特定できるようにし、それをコア設計原則としています。この方法論は、レビュープロセスを合理化し、完全な再検証からエビデンス・トレイルのスポットチェックへと移行させます。その結果、モデルの出力を言い換える必要がなくなり、実際のデータからレポートを自動生成できます。ユーザーは、オープンソースのCommunity Editionをクローンし、ラボ環境でテストすることで、このエビデンス・トレイルを直接体験できます。このオープンソースツールは、ペンテスターによってペンテスターのために構築されており、その方法論に関するフィードバックを歓迎します。