特定の事実に関するLLMモデルを破損させる攻撃。ファイル変更、プロセス、ネットワークは一切なし。スキャン対象がなく、それでも検出可能。
悪意のあるモデルは、ほとんどのトピックで完全に正確になるように設計できますが、特定の重要な主題については意図的に間違ったものにすることができます。この標的とされた不正確さは、医療用量、法的事実、個人データ、またはシステム安全構成などの重要な情報に関わる可能性があります。大多数の正しい応答は、この単一のエラーポイントを隠蔽し、検出を困難にします。この攻撃は、ディスク上の従来のデジタルフォレンジックの痕跡を残したり、チェックポイントハッシュに影響を与えたりすることなく機能します。新しいプロセス、子プロセス、ソケット、またはメモリマッピングを作成しません。代わりに、信頼された依存関係を利用し、既存の信頼されたプロセス内で、完全にGPUメモリ内で実行されます。プロセスの動作を監視するように設計された標準的なセキュリティ制御は、可視的なシステムアクティビティは変更されないため、通常のモデル操作しか認識しません。この攻撃ベクトルは、現在のセキュリティスタックにおける根本的な盲点を悪用します。これは仮説上の脅威ではなく、その配信メカニズムは、PyPIのようなプラットフォームで見られる現実世界のサプライチェーン侵害と類似しています。研究者たちは、この攻撃をエンドツーエンドで正常に再現しました。また、ほとんど監視されない領域で発見可能な、攻撃によって残された微妙なフィンガープリントも特定しました。攻撃とその検出に関する詳細については、リンクされた解説を参照してください。