Project Zero сравнил два автоматизированных инструмента, используемых Google для регулярного поиска уязвимостей в JavaScript-движке Chrome, V8. Fuzzilli — это генеративный фаззер JavaScript-движка, а BigSleep — система поиска ошибок на основе больших языковых моделей (LLM). За последние шесть месяцев BigSleep обнаружил больше уязвимостей, чем Fuzzilli (45 против 37), при этом 25% обнаруженных ошибок были общими. Поскольку эта методология сравнения имеет тенденцию недооценивать совпадения, мы также провели специальные эксперименты для проверки теоретического совпадения уязвимостей, обнаруженных с 2023 года. Эти эксперименты оценили совпадение примерно в 60%. Независимо от того, какое значение является точным, значительная часть уязвимостей могла быть обнаружена только LLM или только фаззингом. Хотя очень обнадеживает, что LLM смогли так быстро находить столько уязвимостей, фаззинг и LLM по-прежнему являются взаимодополняющими подходами. Мы рекомендуем поставщикам проводить как фаззинг, так и агентный анализ своего кода, чтобы максимизировать количество уязвимостей, о которых будет сообщено до того, как они затронут пользователей.