Patch the Planet における /goal を使... ノート

Patch the Planet における /goal を使用したバグ発見方法

Codexの目標機能はバグハントを独立して成功条件に向かって進めることで強化しますが、良い結果を得るには適切なプロンプト、範囲、そして1回の実行での結果数が必要です。Patch the Planetの取り組みでは、CodexはRust、curl、zlibなど広く使われているコードベースを指し示し、提出されたすべてのRustバグを見つけ出しました。健全性の穴やミスコンパイルも含まれます。エンジニアたちは目標機能を使うために、Codexに目標を書かせる、経路ではなく結果を定義する、エージェントごとに1つの結果を割り当てるという3つの技術に集約しました。Codexに目標を書かせるのは、ターゲットや自身の傾向を人間が事前に指定できないほどよく把握しており、脅威モデルを具体的でテスト可能な成功基準に変換できるからです。結果を定義するということは、経路ではなく結果を定義するためにトークンを使うことを意味し、モデルにどう到達するかを指示するものはほとんどなく、良い目標は結果を命名し、それを正確に定義し、持続性を強制します。エージェントごとに1つの結果を割り当てると、2つの競合する結果が1つのプロンプトに入ると最適化が不均一になり、カバレッジを完全にプロンプトから外し、Codexに最も有望な攻撃面を特定するよう依頼する方が良いです。目標バグハンティングで最も効果的なリソースは脅威モデルファイルであり、有効なバグの正確な形を定義しつつ、見つけ方を説明しません。目標機能はバグハント作業を強化する強力なツールですが、その効果は専門家がどこを探せばよいか、結果を検証し、保守者が何を有効な脆弱性開示として見たいかを知っていることにかかっています。全体として、目標機能はRustのすべてのバグを含むバグの発見に成功しており、セキュリティ研究者が1日以内に数週間かけて構築できるカスタムセキュリティインフラを構築する可能性を秘めています。
CdXz5zHNQW_28XGJVPJIa.webp