Как мы используем `/goal` для ... Заметка

Как мы используем /goal для поиска ошибок в Patch the Planet

Функция цели в Codex усиливает охоту на ошибки, позволяя ей работать независимо для достижения условия успеха, но для получения хороших результатов требуется правильный запрос, область действия и количество результатов за запуск. Для инициативы Patch the Planet Codex был направлен на широко используемые кодовые базы, такие как Rust, curl и zlib, и обнаружил все баги Rust, включая пробел в надёжности и неправильную компиляцию. Инженеры пришли к трём методам использования функции цели: позволить Codex записать цель, определить результат, а не путь, и назначить один результат на каждого агента. Позволить Codex написать цель работает, потому что он знает цель и свои собственные тенденции лучше, чем люди могут заранее определить, и может превратить модель угрозы в конкретные, проверяемые критерии успеха. Определение результата, а не пути, означает тратить жетоны на определение результата, и почти ни один из них не указывает модели, как к нему прийти, а хорошая цель называет результат, точно его определяет и обеспечивает устойчивость. Назначение одного результата для каждого агента приводит к неравномерной оптимизации, если в одном prompt размещены два конкурирующих исхода, и лучше полностью вывести покрытие из запроса и попросить Codex определить наиболее перспективные поверхности атаки. Самым эффективным ресурсом для поиска багов по целям является файл модели угроз, который точно определяет, как выглядят действительные ошибки, не объясняя, как их найти. Функция цели — мощный инструмент для усиления работы по поиску ошибок, но её эффективность всё равно зависит от того, чтобы эксперт знает, где искать, проверяет результаты и знает, что поддерживающие хотят видеть как обоснованное раскрытие уязвимости. В целом, функция цели успешно обнаруживает баги, включая все баги в Rust, и имеет потенциал создавать собственную инфраструктуру безопасности, на создание которой исследователь безопасности занимает недели менее чем за день.
CdXz5zHNQW_28XGJVPJIa.webp