Google wird vorgeworfen, Laien zur Faktenprüfung der KI-Antworten von Gemini einzusetzen

Laut internen Anweisungen, die TechCrunch eingesehen hat, hat Google seine Vertragsarbeiter, die das KI-System Gemini bewerten, angewiesen, keine Eingabeaufforderungen mehr zu überspringen, unabhängig von ihrem Fachwissen. Zuvor konnten die Auftragnehmer Eingabeaufforderungen außerhalb ihres Fachgebiets überspringen, jetzt sollen sie die Teile der Aufforderung bewerten, die sie verstehen, und eine Notiz hinzufügen, wenn es nicht ihr Wissensgebiet ist. Ausnahmen gibt es nur, wenn wichtige Informationen fehlen oder der Inhalt schädlich ist und spezielle Einverständniserklärungen erforderlich sind. Ein Auftragnehmer stellte die Änderung in Frage und sagte, sie könne die Genauigkeit verringern, da Eingabeaufforderungen nicht mehr denjenigen mit mehr Fachwissen gegeben werden. Google antwortete, dass die Bewertungen der Auftragnehmer keinen direkten Einfluss auf ihre Algorithmen haben, sondern ein hilfreicher Datenpunkt zur Messung der Systemleistung sind. Das Unternehmen bemerkte außerdem, dass die neue Regelung die Genauigkeit von Gemini nicht beeinträchtigen sollte, da die Auftragnehmer weiterhin die Teile der Eingabeaufforderungen bewerten, die sie verstehen. Google betonte, dass es bei den Bewertungen nicht nur um den Inhalt, sondern auch um Stil, Format und andere Faktoren geht. Das Unternehmen veröffentlichte kürzlich den FACTS Grounding-Benchmark, der die Antworten von LLMs auf faktische Genauigkeit und Detailliertheit überprüft. Die Änderung der Anweisungen hat Bedenken hinsichtlich der Zuverlässigkeit von KI-Bewertungen aufgeworfen.