LLMアプリケーションは、より高い評価スコアを提示しながらも、本番環境での有用性が低下する可能性があります。この矛盾は表面的なものです。評価スコアは品質そのものではなく、特定のデータセット、メトリック、ジャッジ、サンプリング戦略、集計ルールによって生成される推定値です。これらのいずれかが本番環境と異なる場合、最適化はスコアを上昇させながら、実際のシステムの動作を誤った方向に進める可能性があります。現在の評価ガイダンスは、単一の数値スコアを十分とみなすのではなく、現実世界の分布、本番データ、継続的な評価、人間の判断とのキャリブレーションを反映したタスク固有のテストを明確に推奨しています。