MLE-STAR : Un agent d'ingénierie d'apprentissage automatique d'état de l'art

L'essor de l'apprentissage automatique a créé des défis d'ingénierie complexes, ce qui a incité la recherche à utiliser de grands modèles de langage (LLM) comme agents pour automatiser ces tâches. Ces agents LLM conceptualisent les problèmes d'apprentissage automatique comme des défis d'optimisation de code, générant du code exécutable. Cependant, les agents actuels s'appuient souvent sur des méthodes familières et ont du mal à explorer en profondeur des composants de code spécifiques. Pour remédier à cela, MLE-STAR a été développé, un agent d'ingénierie d'apprentissage automatique novateur qui intègre la recherche web et l'affinage ciblé de blocs de code. MLE-STAR commence par rechercher sur le web des modèles pertinents, puis affine itérativement des blocs de code spécifiques, identifiés par des études d'ablation, en fonction de plans générés par LLM. L'agent emploie également une nouvelle stratégie pour combiner plusieurs solutions candidates. De plus, MLE-STAR inclut des modules pour le débogage, la vérification de fuites de données et l'utilisation appropriée des données. Les évaluations sur MLE-Bench-Lite ont démontré la supériorité significative de MLE-STAR par rapport aux alternatives existantes, remportant des médailles dans 63% des compétitions Kaggle. Ce succès est attribué à son utilisation de modèles plus récents, à son affinage ciblé et à ses mécanismes de vérification robustes. L'approche automatisée de MLE-STAR vise à réduire les barrières à l'adoption de l'apprentissage automatique et à s'adapter aux avancées dans le domaine. Un codebase open-source pour MLE-STAR est maintenant disponible.