Fuzzers 与 AI:对比 Fuzzilli 和 BigSleep 在 JavaScript 引擎上的应用”
项目零(Project Zero)对比了 Google 用于定期检测 Chrome JavaScript 引擎 V8 漏洞的两种自动化工具:Fuzzilli 是一种生成式 JavaScript 引擎模糊测试工具,而 BigSleep 是一种基于大语言模型(LLM)的漏洞发现系统。在过去六个月中,BigSleep 发现的漏洞数量多于 Fuzzilli(45 个对 37 个),且两者报告的具体漏洞存在 25% 的重叠。鉴于该对比方法倾向于低估重叠比例,我们还进行了专门的实验,以测试自 2023 年以来报告的漏洞的理论重叠情况。这些实验估计重叠率约为 60%。无论哪个数值更准确,相当一部分漏洞仅可通过大语言模型或仅通过模糊测试被发现。尽管大语言模型能够快速发现大量漏洞这一前景极为令人鼓舞,但模糊测试与大语言模型仍是互补的方法。我们建议供应商同时对其代码执行模糊测试和代理分析(agentic analysis),以在漏洞影响用户之前最大化漏洞的发现数量。