トークン100万あたりのドルでモデルを比較することは、本番ワークロードが実際に何に対して支払っているのか、つまり成果を見落としています。この記事では、Amazon Bedrock上のOpenAIモデル全体で、正解あたりのコスト、エージェントの軌跡コスト、およびルーブリックで採点された成果物の品質を測定するオープンソースのベンチマークハーネスを共有します。