Отчет 1Password об исправлении уязвимостей с помощью ИИ является ошибочным и представляет вводящий в заблуждение показатель "чистого исправления" в 26%. Эта цифра искажена экспериментами, в которых ИИ-агентам намеренно давались указания применять неправильные исправления, а также испытаниями, в которых агенты не могли скомпилировать или протестировать свои исправления. Методология отчета включала сложный набор уязвимостей, запросы, которые в 22% случаев предписывали агентам применять неправильные исправления, и треть испытаний, запрещающих тестирование. Также использовались непоследовательные настройки рассуждений для моделей и наказывались намеренные изменения поведения при оценке.Наш повторный анализ данных 1Password, исключающий испытания с некорректными инструкциями или без тестирования, показывает, что 86% исправлений блокировали предоставленный эксплойт, демонстрируя полезную возможность исправления. Это противоречит заголовку отчета и указывает на значительные способности ИИ при разумных условиях. Автоматизированная оценка также имела проблемы: низкое согласие с человеческими рецензентами и случаи принятия неполных исправлений или пометки корректных исправлений как регрессий.Даже в идеальных условиях с подробными отчетами и экспертными обзорами разработчики-люди также допускают ошибки: в 12,5% случаев их первые исправления не решали проблемы полностью в наших оценках безопасности Trail of Bits. В реальных проектах в рамках нашей совместной инициативы с OpenAI, Patch the Planet, сопровождающие внесли в пул-реквесты 67,7% исправлений, выполненных с помощью ИИ, причем 72,2% из них были приняты без изменений, связанных с безопасностью. Примечательно, что в одном случае и сопровождающий, и ИИ-агент независимо друг от друга внесли одну и ту же ошибку при устранении ошибки безопасности памяти в freenginx, что подчеркивает общие подводные камни.С тех пор мы проанализировали 33 500 последующих коммитов в проектах Patch the Planet и обнаружили функциональные ошибки, ошибки автоматизации сборки/тестирования/выпуска и проблемы с производительностью, внесенные нашими исправлениями, но не эксплуатируемые уязвимости безопасности. Для улучшения исправления уязвимостей с помощью ИИ мы выпускаем два новых навыка для агентов: "post-patch-validation" (валидация после исправления) для помощи агентам в тщательном тестировании исправлений безопасности и "review-walkthrough" (обзорный проход) для помощи инженерам в проверке изменений кода. Навык "post-patch-validation" направляет агентов через воспроизведение исходных ошибок, тестирование альтернативных путей отказа и проверку на регрессии, с целью более раннего выявления неполных исправлений.