ハーネスはコストに見合う価値があるか? ノート

ハーネスはコストに見合う価値があるか?

Naresh Jainは、ビヘイビアラルハーネスの有無で同じAPIサービスを構築するコーディングエージェントを比較しています。フロンティアモデルであるGPT-6 Solは、どちらの場合もすべての外部評価に合格しました。しかし、コスト最適化モデルであるGPT-6 Lunaは、ハーネスなしの実行では10回中3回しか成功しませんでしたが、ハーネスありでは10回すべて成功しました。ハーネスを追加するとLunaのトークン使用量と実行時間は増加しましたが、ハーネスありのLunaの実行はGPT-6 Solと同じ10回中10回の信頼性を達成しながら、実行あたりのコストは33%削減されました(0.273ドル対0.406ドル)。この実験は、ビヘイビアラルハーネスが、より小さくコスト最適化されたモデルから信頼性の高い結果を得るための実用的な方法である可能性を示唆しています。