Масштабная генерация текста с помощью больших языковых моделей (LLM) требует автоматизированной оценки из-за ограничений ручной проверки. Подход "LLM как судья" использует вторую LLM для оценки вывода основной LLM, но вызывает опасения относительно надежности оценщика. Эта проблема решается путем создания, согласования и постоянного мониторинга LLM-судей, гарантируя, что они остаются привязанными к человеческим суждениям на каждом этапе. Люди определяют стандарты качества, создают размеченные наборы данных, отслеживают поведение судей и утверждают обновления.Надежный LLM-судья не статичен; он имеет жизненный цикл, включающий человеческое участие в его создании, согласовании, эксплуатации и обслуживании. Этот процесс иллюстрируется на примере генерации объяснений рекомендаций, которые представляют собой короткие сообщения, объясняющие рекомендации товаров. Качество имеет решающее значение, поскольку вводящие в заблуждение объяснения подрывают доверие пользователей.Жизненный цикл LLM-судьи состоит из четырех фаз: Рождение, Обучение, Развертывание и Согласование с участием человека и мониторинг дрейфа. Рождение включает в себя создание экспертами эталонных данных, включая состязательные и граничные примеры, которые затем размечаются людьми-оценщиками. Обучение дорабатывает LLM-судью для согласования с человеческими метками и обоснованиями, используя саморефлексию и обновления рубрик. Развертывание интегрирует судью в качестве контролера и критика в системе генерации объяснений.Согласование с участием человека и мониторинг дрейфа обеспечивают постоянную надежность путем периодического сравнения судьи с людьми-оценщиками и требования одобрения человеком любых изменений в системе. Эта фаза использует Мета-Судью для сравнения обоснований LLM-судьи с человеческими обоснованиями, выявляя случаи, когда судья приходит к правильному ответу по неправильной причине. Этот непрерывный цикл обратной связи, включающий новые размеченные человеком данные и сигналы, возвращается к этапам бенчмаркинга и разработки. Компоненты системы включают Генератор, Судью, Рефлектор, Мета-Судью, а также экспертов и оценщиков-людей, которые совместно работают на всех этапах жизненного цикла для поддержания целостности судьи.