Project Zero는 취약점 연구에서 대규모 언어 모델(LLMs)의 잠재력을 탐색하고 있습니다. CyberSecEval2 벤치마크에서 초기 낮은 점수에도 불구하고, 정제된 테스트 방법론을 통해 LLM 성능을 크게 개선할 수 있습니다. Project Zero는 LLM 평가를 위한 지침 원칙을 제안합니다. 이를 통해 추론을 위한 충분한 공간을 제공하고, 모델 제한을 해결하며, 현실적인 테스트 시나리오를 보장합니다. 이러한 원칙을 프레임워크에 구현하면 CyberSecEval2 성능이 향상되어 버퍼 오버플로우 테스트에서 최고 점수를 달성하고 고급 메모리 손상 테스트에서 개선된 결과를 얻었습니다. 그러나 Project Zero는 LLM 기능을 완전히 활용하기 위해 더 어려운 벤치마크와 효과적인 방법론이 필요하다고 강조합니다.