Entbiasung von LLM-Richtern: Verständnis und Korrektur von AI-Bewertungsverzerrungen

Die genaue Bewertung der Ausgaben großer Sprachmodelle (LLMs) ist entscheidend, aber die Verwendung von LLMs als Richter kann Verzerrungen und Unvollkommenheiten einführen. LLM-Richter können systematisch falsch sein, indem sie die Flüssigkeit über die faktische Richtigkeit bevorzugen, subtile Schlussfolgerungen übersehen und Antworten bevorzugen, die ihren eigenen Ausgaben ähneln. Diese Verzerrungen können die Bewertungsergebnisse auf vorhersehbare Weise verzerren, was es erforderlich macht, sie zu korrigieren. Um das Problem zu quantifizieren, kann ein kleiner Satz goldgekennzeichneter Beispiele verwendet werden, um den Richter zu überprüfen und seine Verzerrung zu messen. Eine Korrekturformel kann angewendet werden, um die beobachtete Gewinnrate zu debiasieren, die aus der Messungstheorie stammt, die in der Psychologie, Medizin und Machine Learning verwendet wird. Diese Formel setzt voraus, dass Richterfehler unabhängig von der Modellidentität sind, aber in der Praxis wird diese Annahme oft verletzt. Die Korrekturformel kann noch verzerrt sein, wenn der Richter bestimmte Modelltypen bevorzugt, was die Notwendigkeit hervorhebt, die Fairness des Richters über Modelltypen hinweg zu validieren. Alternative Ansätze zur Bekämpfung von LLM-Richter-Verzerrungen umfassen goldene menschliche Kennzeichnung, Richter-Ensembling, Selbstkonsistenz, Adjudikation, das Training eines Meta-Bewerters und confidentes Lernen. Es ist entscheidend, Bewertern als Modelle mit Einschränkungen, Verzerrungen und Parametern zu behandeln, die verstanden, überprüft und korrigiert werden müssen, um Integrität und Transparenz in der Modellbewertung zu gewährleisten. Indem wir diese Verzerrungen anerkennen und bekämpfen, können wir die Zuverlässigkeit unserer Metriken und Bewertungen verbessern.