著者のインフラストラクチャ法案は、単一のコーディングアシスタントAPIからの高コストにより法外なものとなった。これにより、代替モデルとその実際のパフォーマンスの調査が促された。彼らは、コスト効率を決定するために、5つの一般的なエンジニアリングタスクにわたる10のモデルをベンチマークした。「クラス最高」のモデルに関するマーケティング上の主張は信頼できないことが判明した。目標は、特定のワークロードに対して最高の投資収益率をもたらすモデルを見つけることだった。ベンチマークには、モデルを正確性、コード品質、ドキュメント、エッジケースでスコアリングし、それをトークン100万あたりの出力コストで割ることが含まれた。この「スコア・パー・ドル」メトリックは、効率的なモデルを特定する上で極めて重要であることが証明された。著者は、一般的で高価なモデルが一般的なタスクでは、専門的で安価なモデルよりもしばしば優れたパフォーマンスを発揮することを発見した。しかし、複雑な推論や重要なコードレビューにおいては、プレミアムモデルがその価値を示した。テストにより、異なるモデルが異なる種類のタスクで優れていることが明らかになり、ルーティング戦略につながった。著者は現在、プロンプトの複雑さと性質に基づいて特定のモデルに指示を出している。このアプローチにより、API支出が推定87%大幅に削減された。Ga-Standardのようなルーティングモデルも、独自のルーティングロジックを構築したくない人向けのオプションとして強調された。重要な教訓は、ベンダーロックインを回避することの重要性である。統一されたAPIレイヤーを使用することで、著者は価格が変更されたりパフォーマンスが低下したりした場合にモデルを簡単に切り替えることができる。この抽象化により、柔軟性が確保され、コストのかかる移行が防止される。著者は、統合コストを最小限に抑えるために、OpenAI互換インターフェースへの標準化を提唱している。最終的に、ベンチマークプロセスは大幅なコスト削減と、より堅牢で適応性の高いAIコーディングアシスタント戦略につながった。