AI 에이전트는 일반적으로 고정된 벤치마크를 사용하여 평가되며, 이는 단일 점수를 산출하여 에이전트의 능력에 대한 통찰력을 제한적으로 제공합니다. 이 접근 방식은 에이전트의 성능이 저하되는 지점이나 성공이 얼마나 쉬웠는지를 드러내지 못하기 때문에 불충분합니다. 데이터 에이전트의 경우, 이러한 미묘한 차이를 이해하는 것은 효과적인 데이터 검색에 매우 중요합니다. 데이터 검색은 에이전트가 모호한 인간의 쿼리에서 관련 데이터셋을 식별해야 하는 "건초 더미 속 바늘 찾기" 문제입니다.이를 해결하기 위해 Discovery Bench라는 정보 이론 기반 접근 방식이 제안되었으며, 이는 벤치마크에 충실도를 더하는 것을 목표로 합니다. 이 프레임워크는 각 쿼리의 쉽고 어려운 변형을 생성하여 평가 사례의 난이도를 조절함으로써 에이전트 성능에 대한 더 자세한 이해를 가능하게 합니다. 난이도 조절의 핵심 개념은 "놀람도(surprisal)"이며, 이는 쿼리가 주어졌을 때 올바른 데이터셋에 대해 남아 있는 불확실성을 측정합니다. 쿼리의 정보성 있는 용어는 높은 놀람도를 가지며, 대상을 다른 것들과 날카롭게 구별합니다.다양한 정보력을 가진 용어를 추가하거나 제거함으로써 평가 사례의 난이도를 조정할 수 있습니다. 이 방법은 반복적 놀람도 기반 쿼리 개선(iSQR)이라고 하며, 주관적인 의견이 아닌 비트(bits)에 기반하여 보정된 모호성 수준(높음, 중간, 낮음)을 가진 쿼리를 생성합니다. 이를 통해 난이도를 보다 객관적으로 평가할 수 있으며, 특정 단어가 추가되거나 제거된 이유를 설명할 수 있습니다.Discovery Bench는 에이전트 성능에서 "절벽(cliffs)"을 드러냈습니다. 이는 모호성이 약간 증가하면 완전한 실패로 이어지는 현상으로, 전통적인 합격/불합격 평가에서는 놓치는 현상입니다. 또한 모호성에 대한 "스위트 스팟(sweet spot)"을 식별하여, 더 많은 구체성이 항상 에이전트 성능에 더 좋은 것은 아님을 보여줍니다. 이는 시간 분할 테이블이나 컨텍스트 폭발과 같은 특정 실패 모드를 해결하는 것과 같이 에이전트 개선을 위한 실행 가능한 신호를 제공합니다.이 분야는 메타 벤치마킹으로 나아가고 있으며, 다른 연구에서는 항목 반응 이론을 탐구하고 정답을 직접 감사하고 있습니다. Discovery Bench 구현에서 중요한 발견은 기존 벤치마크인 KramaBench-astronomy에서 상당한 오류를 발견한 것입니다. 이는 "평가를 평가하라(evaluate your evals)"는 중요한 필요성을 강조하며, 결함 있는 벤치마크는 에이전트 성능에 대한 잘못된 결론으로 이어집니다.더욱이 모호성 스윕을 생성하는 방법 자체도 평가가 필요합니다. LLM 생성 스티어링 용어와 TF-IDF 놀람도 기반 용어를 비교했을 때 결과가 극명하게 달랐으며, 평가 방법 자체에 대한 강력한 평가의 필요성을 강조했습니다. 결론은 평가가 단순히 판결이 아닌 신호를 생성해야 하며, 평가자를 에이전트만큼이나 면밀히 조사하면서 지속적인 평가 축을 제공해야 한다는 것입니다.