CSIに向けて:最高のハーネスは何ですか?(arXiv 2026)
私たちは、驚くほど注目されていない問いを研究しました。
エージェントは、基盤となるLLMと同じくらい多くのことを活用しているのでしょうか?
私たちは、5つの異なるサイバーセキュリティースキャフォールドをベンチマークし、すべての33のCyBenchチャレンジでモデル(alias2-mini)を固定しました。
主な発見:
単一のスキャフォールドがすべてのチャレンジで最良のパフォーマンスを発揮することはありません。異種のスキャフォールドを組み合わせることで、一貫してカバレッジが向上します。共有ブラックボードアーキテクチャは、19/33のチャレンジ(57.6%)を解決し、個々のハーネスをすべて上回り、実行時間を短縮します。
論文:https://arxiv.org/pdf/2605.28334
技術的な質問やベンチマーク方法論についての議論を喜んでお受けします。/u/Obvious-Language4462より投稿