一般的なテクノロジーに関する誤解は、AIが客観的な評価を提供するというものですが、LLMは人間と同様に主観的です。LLMの審査員は、冗長性バイアス、位置バイアス、ハロー効果など、いくつかのバイアスを示しており、明確なフォーマットがそれらを誤解させる可能性があります。また、同意性バイアスを示し、エラーを検出できず、自身の出力を優先する自己増強バイアスも見られます。したがって、LLMの審査員は客観的ではなく、それらを間違いがないと見なすことは、作業の質の低下を招くリスクがあります。LLM審査員の質を向上させるために、3つの柱からなる方法が提案されています。最初の柱は、同一の入力に対する複数回のパスでの一貫性をチェックすることによる内部安定性の測定です。2番目の柱は、偶然補正されたメトリクスを使用して人間の整合性を検証し、それらが寛大なスコアに同意するだけでなく、実際のエラーを特定していることを確認することを含みます。3番目の柱は、専門的なスコアリングのための分解されたプロンプティングを使用し、パフォーマンスを追跡し、逸脱を特定するために複数のモデルを同時に実行するマルチジャッジアンサンブルの使用を提唱しています。Deltaとの提携は、統計的に監査された評価パイプラインの実装に役立ちます。