흔한 기술적 오해는 AI가 객관적인 평가를 제공한다는 것이지만, LLM은 인간처럼 주관적입니다. LLM 심사위원은 명확한 형식이 그들을 오도할 수 있는 장황함 편향, 위치 편향, 후광 효과를 포함한 여러 편향을 보입니다. 또한 그들은 동의 편향을 보여 오류를 감지하지 못하고, 자신의 결과물을 선호하는 자기 강화 편향을 보입니다. 따라서 LLM 심사위원은 객관적이지 않으며 그들을 무오류로 취급하는 것은 작업의 손상을 초래할 위험이 있습니다. LLM 심사위원의 품질을 개선하기 위해 세 가지 기둥으로 구성된 방법이 제안됩니다. 첫 번째 기둥은 동일한 입력에 대해 여러 번의 통과를 거쳐 일관성을 확인하여 내부 안정성을 측정하는 것입니다. 두 번째 기둥은 우연 수정 지표를 사용하여 그들이 관대한 점수에 동의하는 것이 아니라 실제 오류를 식별하도록 인간 정렬을 검증하는 것을 포함합니다. 세 번째 기둥은 성능을 추적하고 차이점을 식별하기 위해 전문화된 채점 및 여러 모델을 동시에 실행하기 위해 분해된 프롬프팅을 사용하는 다중 심사위원 앙상블을 사용하는 것을 옹호합니다. Delta와 파트너십을 맺으면 통계적으로 감사된 평가 파이프라인을 구현하는 데 도움이 될 수 있습니다.