1PasswordのAIパッチ適用に関する最近のレポートは不備があり、誤解を招く26%のクリーンフィックス率を示しています。この数値は、AIエージェントに意図的に不正確な修正を適用するように指示した実験や、エージェントがパッチをコンパイルまたはテストできなかったトライアルによって歪められています。レポートの方法論には、困難な脆弱性のサンプル、プロンプトの22%でエージェントに誤った修正を適用するように指示したこと、およびトライアルの3分の1でテストを禁止したことが含まれています。また、モデルの一貫性のない推論設定を使用し、採点中に意図された動作変更をペナルティ対象としました。1Passwordのデータを再分析し、不適切な指示があったトライアルやテストがなかったトライアルを除外したところ、パッチの86%が提供されたエクスプロイトをブロックし、有用なパッチ適用能力を示しました。これはレポートの見出しと矛盾し、合理的な条件下でのAIの顕著な能力を示唆しています。自動採点も問題を示しており、人間のレビュー担当者との合意度が低く、不完全な修正を受け入れたり、有効な修正をリグレッションとしてフラグ付けしたりする事例がありました。人間の開発者でさえ、詳細なレポートと専門家レビューという理想的な条件下でも間違いを犯し、Trail of Bitsのセキュリティ評価では最初の修正の12.5%が問題を完全に解決できませんでした。実際のプロジェクトでは、OpenAIとの共同イニシアチブであるPatch the Planetで、メンテナーがAI支援のプルリクエストの67.7%をマージし、そのうち72.2%がセキュリティ関連の修正なしで受け入れられました。特に、あるケースでは、メンテナーとAIエージェントの両方が、freenginxのメモリ安全性バグに対処する際に独立して同じクラッシュを導入し、一般的な落とし穴を浮き彫りにしました。その後、Patch the Planetプロジェクトの33,500件のコミットをレビューし、パッチによって導入された機能バグ、ビルド/テスト/リリース自動化バグ、およびパフォーマンスの問題を発見しましたが、悪用可能なセキュリティ脆弱性は見つかりませんでした。AIパッチ適用を改善するために、2つの新しいエージェントスキルをリリースします。「post-patch-validation」は、エージェントがセキュリティ修正を厳密にテストするのを支援し、「review-walkthrough」は、エンジニアがコード変更のレビューを支援します。post-patch-validationスキルは、エージェントが元のバグの再現、代替の失敗パスのテスト、およびリグレッションのチェックを通じてガイドし、不完全な修正を早期に検出することを目指しています。