Распространенное заблуждение в сфере технологий заключается в том, что ИИ предлагает объективные оценки, но большие языковые модели (БЯМ), как и люди, субъективны. Судьи на основе БЯМ демонстрируют ряд предвзятостей, включая предвзятость к многословию, позиционную предвзятость и эффект ореола, когда четкое форматирование может ввести их в заблуждение. Они также проявляют предвзятость к согласию, не обнаруживая ошибок, и предвзятость к самосовершенствованию, отдавая предпочтение собственным результатам. Следовательно, судьи на основе БЯМ не являются объективными, и обращение с ними как с непогрешимыми рискует привести к компрометации работы. Для повышения качества судей на основе БЯМ предлагается метод, основанный на трех столпах. Первый столп — измерение внутренней стабильности путем проверки согласованности при многократных проходах для идентичных входных данных. Второй столп включает проверку соответствия человека с использованием метрик с коррекцией случайности, чтобы гарантировать, что они выявляют реальные ошибки, а не просто соглашаются с мягкими оценками. Третий столп выступает за использование ансамблей из нескольких судей, применение декомпозированного промптинга для специализированной оценки и одновременный запуск нескольких моделей для отслеживания производительности и выявления расхождений. Партнерство с Delta может помочь во внедрении статистически проверенных конвейеров оценки.