Ein LLM-Evaluierungsrahmen für die Leistung von KI-Systemen

Die Sicherstellung der dauerhaft guten Leistung von KI-Systemen stellt eine erhebliche Herausforderung dar, und die Bewertung ihrer Leistung ist von entscheidender Bedeutung. Bewertungen können die Änderung von System-Prompts, das Hinzufügen neuer Tools oder die Aktualisierung zugänglicher Daten umfassen. Microsoft.Extensions.AI.Evaluation ist eine Open-Source-Bibliothek, die dabei hilft, Metriken im Zusammenhang mit KI-Systemen zu sammeln und zu vergleichen. Diese Bibliothek kann mit verschiedenen Modell-Anbietern und -Diensten zusammenarbeiten. Zu den Bewertungsmetriken gehören Äquivalenz, Fundiertheit, Flüssigkeit, Relevanz, Kohärenz, Retrieval und Vollständigkeit. Diese Metriken werden durch das Senden einer Chat-Sitzung zur Bewertung an OpenAI generiert und durch die Bereitstellung einer Liste von Evaluatoren, die für diese Metrik ausgeführt werden sollen. Die Metriken werden dann verwendet, um die Leistung des KI-Systems zu bewerten. Die Bewertungsergebnisse können mit Spectre.Console in einer Tabelle angezeigt werden, was das Erfassen und Teilen der Leistung von KI-Systemen erleichtert. Microsoft.Extensions.AI.Evaluation umfasst außerdem HTML- und JSON-Reporting-Funktionen sowie die Möglichkeit, mehrere Iterationen und Szenarien in demselben Bewertungslauf zu untersuchen. Die Bewertungsmetriken des KI-Systems tragen dazu bei, sicherzustellen, dass die Antwort des Systems kohärent, vollständig und relevant für die Anfrage des Benutzers ist.