평가 없이는 ML 모델은 시간이 지남에 따라 성능이 저하되며, 이는 대화형 데이터 에이전트에게는 종종 간과되는 문제입니다. Genie Ontology는 특히 Genie Agent Benchmarks를 통해 지속적으로 에이전트를 평가하고 개선함으로써 이 문제를 해결합니다. 벤치마크는 격리된 대화로 구성되며, 각 대화는 질문 유형에 따라 두 가지 모드 중 하나로 평가됩니다. Chat 모드는 에이전트가 생성한 SQL 또는 그 결과를 "정답"과 비교하며, "좋음" 및 "나쁨" 결과에 대한 객관적인 규칙이 있습니다. Agent 모드는 다단계 텍스트 기반 추론 보고서용이며, LLM 심사관이 응답을 선택적 평가 메모와 비교하여 평가합니다. Chat 모드의 중요한 설계 세부 사항은 합법적인 변형을 보상하면서 구조적 오류를 표시하여 벤치마크에 대한 신뢰를 조성하는 기능입니다. 모범 사례는 포괄적인 테스트를 보장하기 위해 비즈니스 질문당 두세 가지 구문 변형을 등록하는 것을 권장합니다. 벤치마크 실행 후 Genie Code는 결과를 분석하여 식별된 격차를 해결하기 위한 지침 또는 컨텍스트 조정을 제안합니다. 이 "배치 검토"는 실제 사용 데이터에도 적용되어 사전 예방적인 문제 해결을 가능하게 합니다. 그러나 사용자 피드백이 에이전트 동작을 자동으로 변경하지 않기 때문에 인간 검토가 중요합니다. 정답 SQL의 품질 또한 중요하며, 도구는 내부적으로 장기적인 정확도 추세를 저장하지 않습니다. 변경 사항을 효율적으로 검증하고 에이전트의 지속적인 신뢰성을 보장하기 위해 처음부터 벤치마크에 투자하는 것이 필수적입니다.