CSIに向けて:最高のハーネスは何ですか?(arXiv 20... ノート

CSIに向けて:最高のハーネスは何ですか?(arXiv 2026)

私たちは、驚くほど注目されていない問いを研究しました。 エージェントは、基盤となるLLMと同じくらい多くのことを活用しているのでしょうか? 私たちは、5つの異なるサイバーセキュリティースキャフォールドをベンチマークし、すべての33のCyBenchチャレンジでモデル(alias2-mini)を固定しました。 主な発見: 単一のスキャフォールドがすべてのチャレンジで最良のパフォーマンスを発揮することはありません。異種のスキャフォールドを組み合わせることで、一貫してカバレッジが向上します。共有ブラックボードアーキテクチャは、19/33のチャレンジ(57.6%)を解決し、個々のハーネスをすべて上回り、実行時間を短縮します。 論文:https://arxiv.org/pdf/2605.28334 技術的な質問やベンチマーク方法論についての議論を喜んでお受けします。/u/Obvious-Language4462より投稿