Как использовать структурированную генерацию для оценок LLM в качестве судьи

"Структурное поколение - это подполе машинного обучения, которое направляет выходы генеративных моделей на соответствие определённым схемам. Оно используется для обеспечения того, чтобы сгенерированный текст следовал заранее определённой структуре, такой как действительный JSON. Этот метод необходим для построения сложных, многоэтапных агентов рассуждения в оценках LLM, особенно для открытых исходных моделей. Процесс включает определение схемы и парсинг вывода для обеспечения соответствия требованиям. Например, простая грамматика JSON может быть определена с помощью библиотеки Lark, которая позволяет указывать допустимые и недопустимые строки JSON. Чтобы направить вывод модели, можно создать функцию, которая рекурсивно выбирает из модели, используя функцию проверки, чтобы проверить, является ли сгенерированный текст допустимым или неполным. Этот подход может добавить вычислительную нагрузку, но оптимизированные реализации могут минимизировать влияние на задержку. Структурное поколение можно применить к метрикам LLM-as-a-judge, таким как обнаружение галлюцинаций, где традиционные эвристические методы испытывают трудности из-за тонкости концепции. Необходимо общепринятое определение "галлюцинации", и одно такое определение пришло из статьи Университета Иллинойса в Шампейне-Урбане, которая описывает его как сгенерированный вывод, который конфликтует с ограничениями или отклоняется от желаемого поведения в фактическом развертывании."