구조화된 생성을 사용하여 LLM-판정 평가를 수행하는 방법

구조화된 생성은 생성 모델의 출력을 특정 스키마에 맞게 조정하는 기계 학습의 하위 분야입니다. 생성된 텍스트가 미리 정의된 구조, 즉 유효한 JSON과 같은 구조를 따르도록 보장하는 데 사용됩니다. 이 기술은 특히 오픈 소스 모델의 경우 LLM 평가에서 복잡한 다단계 추론 에이전트를 구축하는 데 필수적입니다. 이 프로세스는 스키마를 정의하고 출력을 구문 분석하여 요구 사항을 충족하는지 확인하는 것을 포함합니다. 예를 들어, Lark 라이브러리를 사용하여 간단한 JSON 문법을 정의할 수 있으며, 이는 유효한 JSON 문자열과 유효하지 않은 JSON 문자열을 지정하는 것을 허용합니다. 모델의 출력을 조정하기 위해 생성된 텍스트가 유효한지 또는 불완전한지 확인하는 유효성 검사 함수를 사용하여 재귀적으로 모델에서 샘플링하는 함수를 만들 수 있습니다. 이 접근 방식은 계산 오버헤드를 추가할 수 있지만 최적화된 구현은 대기 시간의 영향을 최소화할 수 있습니다. 구조화된 생성은 전통적인 유추 방법이 개념의 미묘함으로 인해 어려움을 겪는 LLM-판정 지표와 같은 환각 감지에 적용될 수 있습니다. "환각"의 보편적으로 동의된 정의가 필요하며, 일리노이 주 샴페인-어바나 대학교의 논문에서 하나의 정의를 제공하는데, 이는 실제 배포에서 제약 조건과 충돌하거나 원하는 동작에서 벗어나는 생성된 출력으로 설명합니다.