MLE-STAR: Ein hochmoderner Machine Learning Engineering Agent

Der Aufstieg des maschinellen Lernens hat komplexe ingenieurtechnische Herausforderungen geschaffen, die Forschung zur Nutzung großer Sprachmodelle (LLMs) als Agenten zur Automatisierung dieser Aufgaben vorantreiben. Diese LLM-Agenten konzeptualisieren ML-Probleme als Code-Optimierungsherausforderungen und generieren ausführbaren Code. Aktuelle Agenten verlassen sich jedoch oft auf bekannte Methoden und tun sich schwer mit der tiefgreifenden Erforschung spezifischer Codekomponenten. Um dem abzuhelfen, wurde MLE-STAR entwickelt, ein neuartiger ML-Engineering-Agent, der Websuche und gezielte Verfeinerung von Codeblöcken integriert. MLE-STAR beginnt mit der Websuche nach relevanten Modellen und verfeinert dann iterativ spezifische Codeblöcke, die durch Ablationsstudien identifiziert wurden, basierend auf LLM-generierten Plänen. Der Agent setzt außerdem eine neue Strategie zur Ensemblebildung mehrerer Kandidatenlösungen ein. Darüber hinaus enthält MLE-STAR Module zum Debugging, zur Überprüfung auf Datenlecks und zur Gewährleistung der ordnungsgemäßen Datennutzung. Auswertungen auf MLE-Bench-Lite zeigten, dass MLE-STAR bestehende Alternativen deutlich übertrifft und in 63 % der Kaggle-Wettbewerbe Medaillen gewonnen hat. Dieser Erfolg wird auf die Nutzung neuerer Modelle, gezielte Verfeinerung und robuste Überprüfungsmechanismen zurückgeführt. Der automatisierte Ansatz von MLE-STAR zielt darauf ab, die Hürde für die ML-Adaption zu senken und sich an Fortschritte auf diesem Gebiet anzupassen. Ein Open-Source-Code für MLE-STAR ist jetzt verfügbar.