LLM 애플리케이션은 더 높은 평가 점수를 게시할 수 있지만 프로덕션에서는 덜 유용해질 수 있습니다. 이 모순은 겉보기뿐입니다. 평가 점수 자체는 품질이 아니라 특정 데이터셋, 메트릭, 평가자, 샘플링 전략 및 집계 규칙에 의해 생성된 추정치입니다. 이 중 어느 하나라도 프로덕션과 다르면 최적화는 점수를 높이는 동시에 실제 시스템 동작을 잘못된 방향으로 이끌 수 있습니다.현재 평가 지침은 단일 수치 점수를 충분한 것으로 취급하는 대신 실제 분포, 프로덕션 데이터, 지속적인 평가 및 인간 판단에 대한 보정을 반영하는 작업별 테스트를 명시적으로 권장합니다.