CSI에 대해 : 가장 좋은 하네스는 무엇인가요? (arXiv 2026)
우리는 놀랍도록 적은 관심을 받는 질문을 연구했습니다.
에이전트가 기본 LLM만큼 중요할까요?
모든 33가지 CyBench 과제에 대해 모델(alias2-mini)을 고정한 상태로 5가지 다른 사이버 보안 스캐폴드를 벤치마킹했습니다.
주요 결과:
어떤 단일 스캐폴드도 모든 과제에서 최고 성능을 발휘하지 못합니다. 이질적인 스캐폴드를 결합하면 일관되게 커버리지가 향상됩니다. 공유 블랙보드 아키텍처는 19/33개의 과제(57.6%)를 해결하며, 개별 하네스보다 뛰어난 성능을 보이면서 실행 시간을 단축합니다.
논문: https://arxiv.org/pdf/2605.28334
기술적인 질문이나 벤치마킹 방법론에 대한 논의에 기꺼이 답변해 드리겠습니다. /u/Obvious-Language4462님이 제출하셨습니다.