AIコーディングエージェントはコード生成においてより熟練してきていますが、エンジニアリングの判断力を評価するという点で大きな課題があります。単にテストをパスするだけでは不十分です。なぜなら、それはAIがアーキテクチャの文脈、プロジェクトの制約、あるいは過去の決定を理解していることを保証しないからです。AIがスニペットからリポジトリの変更へと移行するにつれて、この文脈的な正確さが極めて重要になります。SWE-benchのような現在のベンチマークは、現実世界のソフトウェアエンジニアリングの問題に対処するために進化していますが、タスクの質や汚染といった課題にも直面しています。著者は、AIエージェントが関連性の高い文脈の変化に適応する能力を評価することを提案しており、無関係な文脈の変化に対しては安定性を維持することを目指しています。これには、単純な合格/不合格の指標を超えて、文脈適応と文脈安定性のテストが含まれます。「どれだけの文脈」から「どの文脈」、「いつ」、そして「どれだけ信頼性高く」という点に焦点を移すべきです。リポジトリの文脈を、長期的なプロジェクトにとって不可欠な、ライフサイクルを持つ動的な実体として扱うことが重要です。将来のベンチマークは、ソフトウェア開発の進化する性質を反映するように、動的であるべきです。最終的な問いは、AIエージェントがアーキテクチャ、要件、依存関係、チームの慣習を含む、変化するソフトウェア環境の中で健全なエンジニアリング判断を維持できるかどうかです。この複雑な問題には、多様な思考アプローチが必要であり、可視化、説明、分析のための定義された「レンズ」を使用して構造化することができます。