RSS VentureBeat
Folgen
Wird die Aktualisierung Ihrer KI-Agenten ihre Leistung verbessern oder beeinträchtigen? Das neue Tool Experiments von Raindrop verrät es Ihnen.
Raindrop, ein Startup für die Beobachtung von KI-Anwendungen, hat "Experiments" eingeführt, eine A/B-Test-Suite, die speziell für KI-Agenten in Unternehmen entwickelt wurde. Diese neue Funktion ermöglicht es Unternehmen, die Leistung verschiedener KI-Agenten zu vergleichen, basierend auf Änderungen in den zugrunde liegenden Modellen, Anweisungen und dem Zugriff auf Tools. Experiments erweitert die bestehenden Tools von Raindrop und bietet Einblicke in das Verhalten und die Entwicklung von KI-Agenten in realen Benutzerinteraktionen. Die Plattform verfolgt die Auswirkungen von Änderungen auf die KI-Leistung über Millionen von Interaktionen hinweg, visualisiert Ergebnisse und hebt sowohl positive als auch negative Signale hervor. Dieses Tool zielt darauf ab, die Strenge der modernen Softwarebereitstellung auf die Iteration von KI-Agenten zu übertragen und datengestützte Verbesserungen zu fördern. Die Kernaufgabe von Raindrop war es, das "Black-Box-Problem" in der KI anzugehen und Teams dabei zu helfen, zu verstehen, warum und wie ihre KI-Systeme versagen. Experiments geht das häufige Problem "Evaluierungen bestehen, Agenten scheitern" an, indem es sich auf das reale Verhalten der Agenten konzentriert. Die Plattform bietet leicht verständliche Daten, die Entwicklern helfen, Probleme wie Aufgabenfehler oder unerwartete Fehler schnell zu identifizieren und zu beheben. Experiments lässt sich in Feature-Flag-Plattformen und bestehende Analyse-Pipelines integrieren und gewährleistet so genaue Vergleiche mit ausreichenden Benutzerdaten. Raindrop bietet umfassende Datensicherheit, einschließlich Optionen zur Schwärzung von PII und SOC 2-Konformität, sowie verschiedene Preispläne. Das Unternehmen betont die kontinuierliche Verbesserung und zielt darauf ab, Entwicklern zu helfen, sich schneller zu bewegen und besser performende KI-Modelle auszuliefern, indem es reale Benutzerdaten priorisiert.
