AIエージェントは通常、固定されたベンチマークを使用して評価され、単一のスコアが得られますが、これはその能力に関する洞察を限定します。このアプローチは、エージェントのパフォーマンスがどこで低下するか、またはその成功がどれほど容易であったかを明らかにできないため、不十分です。データエージェントにとって、これらのニュアンスを理解することは、効果的なデータ発見にとって極めて重要です。「針のむしろ」問題であり、エージェントは曖昧な人間のクエリから関連するデータセットを特定する必要があります。この問題に対処するため、Discovery Benchと呼ばれる情報理論に基づいたアプローチが提案されており、ベンチマークに忠実性を加えることを目指しています。このフレームワークは、各クエリの簡単で難しいバリエーションを生成することによって評価ケースの難易度を調整し、エージェントのパフォーマンスの詳細な理解を可能にします。難易度を調整する中心的な概念は「驚き度（surprisal）」であり、クエリが与えられた場合の正しいデータセットに関する残りの不確実性を測定します。クエリ内の情報量の多い単語は高い驚き度を持ち、ターゲットを他のものから鋭く区別します。様々な情報量を持つ単語を追加または削除することで、評価ケースの難易度を調整できます。この反復的な驚き度に基づいたクエリ洗練（iSQR）と呼ばれる方法は、主観的な意見ではなくビットに基づいた、調整された曖昧さのレベル（高、中、低）を持つクエリを生成します。これにより、難易度のより客観的な評価が可能になり、特定の単語が追加または削除された理由を説明できます。Discovery Benchは、エージェントのパフォーマンスにおける「崖」を明らかにしました。これは、曖昧さのわずかな増加が完全な失敗を引き起こす現象であり、従来の合格/不合格評価では見逃されていました。また、曖昧さの「スイートスポット」も特定し、具体性が増すことが必ずしもエージェントのパフォーマンスにとって最良ではないことを示しています。これは、時間分割テーブルやコンテキストの爆発などの特定の失敗モードに対処するなど、エージェントを改善するための実行可能な信号を提供します。この分野はメタベンチマーキングに向かっており、他の研究では項目応答理論やグラウンドトゥルースの直接監査が探求されています。Discovery Benchの実装から得られた重要な発見は、確立されたベンチマークであるKramaBench-astronomyにおける重大なエラーの発見でした。これは、「評価を評価する」という重要な必要性を強調しており、欠陥のあるベンチマークはエージェントのパフォーマンスに関する誤った結論につながります。さらに、曖昧さのスイープを生成する方法自体も評価が必要です。LLMによって生成されたステアリング単語とTF-IDFの驚き度に基づいた単語を比較すると、結果は劇的に異なり、評価方法自体の堅牢な評価の必要性が強調されました。結論として、評価は単なる判定ではなく、評価者と同等に評価者を精査する、評価の連続的な軸を提供する信号を生成すべきです。