Project Zeroは、脆弱性研究における大規模言語モデルの (LLMs) の潜在的な可能性を探検しています。CyberSecEval2ベンチマークでの初期の低いスコアにもかかわらず、改良されたテスト方法論を適用することでLLMの性能を大幅に向上させることができます。Project Zeroは、LLMsの評価に関するガイドラインを提案し、推論のための十分なスペースを提供し、モデルに対する制限事項を解決し、現実的なテストシナリオを確保することに焦点を当てています。この原則をフレームワークに実装することで、CyberSecEval2のパフォーマンスが向上し、Buffer Overflowテストでトップスコアを達成し、Advanced Memory Corruptionテストの結果も改善しました。進歯が遂げられたとはいえ、Project Zeroは、LLMの能力を完全に活用するために、より挑戦的なベンチマークと効果的な方法論が必要であると強調しています。