Specific LabsのReal-SWEベンチマークは、コーディングエージェントの評価における重大な問題を露呈しています。「Claude Code」や「Codex CLI」のようなモデル名は、基盤となるAIモデルではなく、ハーネスを表しているため誤解を招きます。同じハーネスでも、統合されたモデルによって大きく異なるパフォーマンスを示す可能性があります。例えば、Codex CLI上のGPT-6 Astraは33.8%の解決率を達成しましたが、同じハーネス上のGPT-5.6 Solはわずか16.2%でした。この2倍以上の差は、ハーネスが思考を行うコンポーネントではなく、単なるルーティングレイヤーに過ぎないことを強調しています。同様に、Claude Code上のFable 5.1は38.8%を記録しましたが、Claude Code上のGLM 5.3は28.8%と、10ポイントの開きがありました。Real-SWEは、モデルとハーネスの組み合わせとして結果を正しく提示しており、これはベンダーが自社のツールでの不利な数値が出る可能性があるために避けることが多い正直な慣行です。コーディングエージェントを探しているチームにとって、単に「Claude Codeを使用する」だけでは、エージェントの実際のスキルに関する洞察は得られません。モデルの切り替えが最も重要なパフォーマンスレバーですが、ほとんどのマーケティングでは隠されたままです。ベンチマークスコアをレビューする際は、使用されたモデルとハーネスの両方を特定することが重要です。慣習、コンテキストの引き継ぎ、ツールループ、およびジャッジなどの詳細が含まれます。ベンダーがスコアに関連付けられた特定のモデルを開示することをためらう場合は、注意が必要です。足場、つまりハーネスは、エージェントの実際の推論能力よりも、スコアに深く影響を与える可能性があります。