LLM을 이용한 대규모 텍스트 생성에는 수동 검토의 한계로 인해 자동 평가가 필수적입니다. LLM-as-a-Judge 접근 방식은 두 번째 LLM을 사용하여 첫 번째 LLM의 출력을 평가하지만, 평가자의 신뢰성에 대한 우려를 제기합니다. 이 문제는 LLM 판사를 구축, 조정하고 지속적으로 모니터링하여 모든 단계에서 인간의 판단에 고정되도록 함으로써 해결됩니다. 인간은 품질 표준을 정의하고, 레이블이 지정된 데이터셋을 생성하며, 판사의 행동을 모니터링하고, 업데이트를 승인합니다.신뢰할 수 있는 LLM 판사는 정적이지 않습니다. 생성, 조정, 운영 및 유지 관리에서 인간의 소유권을 포함하는 수명 주기를 가집니다. 이 과정은 항목 추천을 설명하는 짧은 메시지인 추천 설명 생성 작업을 통해 설명됩니다. 오해의 소지가 있는 설명은 사용자 신뢰를 약화시키기 때문에 품질이 중요합니다.LLM 판사 수명 주기는 탄생, 훈련, 배포 및 HITL 조정 및 드리프트 모니터링의 네 가지 단계로 구성됩니다. 탄생 단계에서는 인간 전문가가 적대적 및 경계 예제를 포함한 벤치마크 데이터를 제작하며, 이는 인간 평가자에 의해 레이블이 지정됩니다. 훈련 단계에서는 자기 성찰 및 루브릭 업데이트를 사용하여 LLM 판사를 인간 레이블 및 합리화에 맞게 조정합니다. 배포 단계에서는 판사를 설명 생성 시스템 내에서 게이트 및 비평가로 통합합니다.HITL 조정 및 드리프트 모니터링은 인간 평가자와 주기적으로 판사를 벤치마킹하고 시스템 변경에 대한 인간의 승인을 요구함으로써 지속적인 신뢰성을 보장합니다. 이 단계에서는 메타 판사를 사용하여 LLM 판사의 합리화와 인간의 합리화를 비교하여 판사가 잘못된 이유로 올바른 답에 도달하는 경우를 포착합니다. 새로운 인간 레이블 데이터와 신호를 통합하는 이 지속적인 피드백 루프는 벤치마크 및 개발 단계로 다시 피드백됩니다. 시스템 구성 요소에는 생성기, 판사, 반성기, 메타 판사, 인간 전문가 및 평가자가 포함되며, 이들은 모두 수명 주기 단계 전반에 걸쳐 협력하여 판사의 무결성을 유지합니다.