Project Zero는 Google이 Chrome의 JavaScript 엔진인 V8에서 취약점을 정기적으로 찾기 위해 사용하는 두 가지 자동화 도구를 비교했습니다. Fuzzilli는 생성형 JavaScript 엔진 퍼저이고 BigSleep은 LLM 기반 버그 탐지 시스템입니다. 지난 6개월 동안 BigSleep은 Fuzzilli보다 더 많은 취약점을 발견했으며(각각 45건 대 37건), 보고된 특정 버그에서 25%의 중복이 있었습니다. 이 비교 방법론은 중복을 과소평가하는 경향이 있으므로, 2023년 이후 보고된 취약점의 이론적 중복을 테스트하기 위한 전용 실험도 수행했습니다. 이러한 실험은 대략 60%의 중복을 추정했습니다. 어떤 값이 정확하든, 상당 부분의 취약점은 LLM 또는 퍼징만으로 발견될 수 있었습니다. LLM이 이렇게 많은 취약점을 빠르게 발견할 수 있게 되었다는 것은 매우 유망하지만, 퍼징과 LLM은 여전히 상호 보완적인 접근 방식입니다. 공급업체는 사용자에게 영향을 미치기 전에 보고되는 취약점 수를 최대화하기 위해 코드에 대한 퍼징과 에이전트 분석을 모두 수행할 것을 권장합니다.