我们如何使用 /goal 在 Patch the Plane... 笔记

我们如何使用 /goal 在 Patch the Planet 中查找漏洞

Codex的目标特性通过让虫子狩猎独立朝着成功条件努力来增强,但要获得好结果,需要合适的提示、范围和每次结果数量。在“Patch the Planet”项目中,Codex指向了广泛使用的代码库,如Rust、curl和zlib,发现了所有提交的Rust漏洞,包括一个合理漏洞和一个编译错误。工程师们最终总结出三种使用目标功能的技巧,包括让Codex写目标、定义结果而非路径,以及为每个代理分配一个结果。让Codex来写目标之所以有效,是因为它比人类事先能指定更了解目标和自身倾向,并且能将威胁模型转化为具体、可测试的成功标准。定义结果,而非路径,意味着花费代币来定义结果,几乎没有告诉模型如何达到目标,一个好的目标能命名结果,精确定义它,并强制坚持。如果每个代理只分配一个结果,如果两个竞争结果放在一个提示词中,优化会不均衡,最好完全将覆盖范围从提示中移除,让Codex识别最有前景的攻击面。目标漏洞搜索最有效的资源是威胁模型文件,它精确定义了有效漏洞的样貌,但不解释如何找到它们。该功能目标是增强漏洞搜寻工作的强大工具,但其有效性仍依赖专家知道该去哪里查找、验证结果,以及维护者希望看到的有效漏洞披露。总体来看,该目标功能在发现漏洞方面取得了成功,包括Rust中的所有漏洞,并且有潜力打造一个定制的安全基础设施,使安全研究人员需要数周时间在一天内完成。
CdXz5zHNQW_28XGJVPJIa.webp