Verbesserung der LLM-Qualität und Interpretierbarkeit mit dem Vertex Gen AI Evaluation Service

Entwickler, die große Sprachmodelle (LLMs) nutzen, stehen vor zwei Hauptproblemen: dem Umgang mit der Zufälligkeit von LLM-Ausgaben und der Bekämpfung ihrer Tendenz, falsche Informationen zu produzieren. Die Unberechenbarkeit von LLMs kann sowohl ein kreatives Vermögen als auch ein Hindernis sein, insbesondere wenn Konsistenz und sachliche Genauigkeit von Bedeutung sind. Diese Zufälligkeit, die für die Erzeugung kreativer Inhalte nützlich ist, kann zu "Halluzinationen" führen, bei denen das Modell mit großer Zuversicht falsche Informationen ausgibt, was das Vertrauen in seine Zuverlässigkeit schmälert. Viele Aufgaben, wie zum Beispiel die Zusammenfassung von Informationen oder die Erstellung von Werbeinhalten, haben keine einzige richtige Antwort, was die Variabilität von LLMs zu einem Dilemma und einer Chance macht. Ein Finanzinstitut zum Beispiel musste sicherstellen, dass Zusammenfassungen von Kundenkonversationen genau, knapp und gut geschrieben waren. Sie lösten dieses Problem, indem sie mehrere LLM-Antworten generierten und den Vertex Gen AI Evaluation Service nutzten, um die beste Antwort auszuwählen. Durch die Erzeugung mehrerer Versionen einer Zusammenfassung mit kontrollierter Zufälligkeit erhöhten sie die Wahrscheinlichkeit, eine optimale Antwort zu finden. Diese Antworten wurden dann paarweise miteinander verglichen, um die genaueste und relevanteste Antwort zu identifizieren. Schließlich wurde die Top-Antwort mit Hilfe von punktweiser Evaluation auf ihre Qualität hin überprüft, um sicherzustellen, dass sie den Qualitätsstandards entsprach, wobei Punkte und Erklärungen für Transparenz bereitgestellt wurden. Dieser Arbeitsablauf, der für verschiedene Anwendungsfälle und Modalitäten adaptiert werden kann, verwandelt LLM-Variabilität in eine Stärke, indem er systematisch die beste Ausgabe auswählt und bewertet, um die Qualität, Zuverlässigkeit und Vertrauenswürdigkeit von LLM-erzeugten Inhalten zu erhöhen.