LLM-как-Судья - это метод, при котором одна языковая модель оценивает результаты работы другой на основе заданных критериев. Это обеспечивает автоматический контроль качества ответов, поскольку стандартных производственных показателей, таких как коды состояния HTTP, недостаточно для выявления таких проблем, как галлюцинации. Ручная проверка не масштабируется для обработки большого объема запросов. Модель-судья получает вывод и инструкции, затем возвращает оценку или категорию, функционируя как классификатор, а не как генератор. Исследования показывают, что судьи LLM согласны с человеческими оценками примерно в 80% случаев, что сопоставимо с согласованностью между людьми. Ключевые показатели для оценки включают достоверность, релевантность ответа и релевантность контекста для систем RAG, а также правильность, полноту, токсичность и галлюцинации для генеративных задач. Конвейеры агентов требуют таких показателей, как правильность использования инструментов и завершение задач. Эффективные подсказки для судей являются конкретными, используют рассуждения цепочки мыслей и требуют структурированного вывода JSON. Варианты реализации включают прямые вызовы API, фреймворки, такие как DeepEval, или платформы наблюдаемости, такие как Langfuse. Для CI/CD DeepEval может выполнять регрессионное тестирование подсказок. В рабочей среде шлюз времени выполнения может оценивать ответы перед доставкой, хотя это влечет за собой дополнительные затраты, или асинхронный мониторинг на основе выборки может отслеживать тенденции качества. Подводные камни включают предвзятость позиции, предвзятость многословия, предвзятость самовозвышения, стоимость оценочных вызовов и потенциальную галлюцинацию самой модели-судьи. Рекомендуется использовать модель-судью как минимум такую же мощную, как и генератор, и установить температуру равной нулю для вызовов судьи. Для стартапов DeepEval для тестирования перед развертыванием и Langfuse для мониторинга в рабочей среде предлагают комплексное решение.