MLE-STAR: Передовой агент машинного обучения

Расцвет машинного обучения породил сложные инженерные задачи, что стимулировало исследования по использованию больших языковых моделей (LLM) в качестве агентов для автоматизации этих задач. Эти LLM-агенты концептуализируют задачи машинного обучения как проблемы оптимизации кода, генерируя исполняемый код. Однако существующие агенты часто полагаются на знакомые методы и испытывают трудности с глубоким исследованием конкретных компонентов кода. Для решения этой проблемы был разработан MLE-STAR — новый агент машинного обучения, который интегрирует веб-поиск и целенаправленную доработку блоков кода. MLE-STAR начинает с поиска релевантных моделей в Интернете, а затем итеративно дорабатывает конкретные блоки кода, определенные в результате абляционных исследований, на основе планов, сгенерированных LLM. Агент также применяет новую стратегию для ансамблирования нескольких кандидатных решений. Кроме того, MLE-STAR включает модули для отладки, проверки на утечку данных и обеспечения правильного использования данных. Оценки на MLE-Bench-Lite продемонстрировали значительное превосходство MLE-STAR по сравнению с существующими альтернативами, выиграв медали в 63% соревнований Kaggle. Этот успех объясняется использованием более современных моделей, целенаправленной доработкой и надежными механизмами проверки. Автоматизированный подход MLE-STAR призван снизить порог входа в машинное обучение и адаптироваться к достижениям в этой области. Исходный код MLE-STAR теперь доступен.