Приложение LLM может показать более высокий оценочный балл и при этом стать менее полезным в эксплуатации. Противоречие лишь кажущееся. Оценочный балл сам по себе не является качеством, а представляет собой оценку, полученную на основе конкретного набора данных, метрики, судьи, стратегии выборки и правила агрегации. Если что-либо из этого отличается от реальных условий эксплуатации, оптимизация может повысить балл, одновременно направляя фактическое поведение системы в неправильном направлении.Текущие рекомендации по оценке явно предписывают проведение тестов, специфичных для конкретной задачи, отражающих реальные распределения, производственные данные, непрерывную оценку и калибровку на основе человеческих суждений, вместо того чтобы рассматривать единый числовой балл как достаточный.