一个常见的技术误解是认为人工智能能够提供客观评估，但大语言模型（LLMs）与人类一样具有主观性。LLM 裁判表现出多种偏差，包括冗长偏差（verbosity bias）、位置偏差（position bias）和光环效应（halo effect），其中清晰的格式可能误导它们。它们还表现出讨好偏差（agreeableness bias），无法检测错误，以及自我增强偏差（self-enhancement bias），倾向于偏好自身的输出。因此，LLM 裁判并非客观，将其视为无误会危及工作质量。为提升 LLM 裁判的质量，建议采用三支柱方法。第一支柱是衡量内部稳定性，通过检查相同输入在多次运行中的一致性来实现。第二支柱涉及验证人类对齐性，使用校正偶然性的指标，以确保它们识别的是真实错误，而不仅仅是与宽松评分达成一致。第三支柱主张使用多裁判集成（multi-judge ensembles），采用分解提示（decomposed prompting）进行专业化评分，并同时运行多个模型以跟踪性能并识别分歧。与 Delta 合作有助于实施经过统计审核的评估流程。