MLE-STAR：最先端の機械学習エンジニアリングエージェント

機械学習の台頭は複雑なエンジニアリング課題を生み出し、これらのタスクを自動化するために大規模言語モデル（LLM）をエージェントとして利用する研究を促しています。これらのLLMエージェントは、ML問題をコード最適化の課題として概念化し、実行可能なコードを生成します。しかし、現在のエージェントは、馴染みのある方法に依存することが多く、特定のコードコンポーネントの深い探索に苦労しています。この問題に対処するため、Web検索とターゲットを絞ったコードブロックの改良を統合した新しいMLエンジニアリングエージェントであるMLE-STARが開発されました。MLE-STARは、まずWebで関連モデルを検索し、次にアブレーションスタディによって特定された特定のコードブロックを、LLMによって生成された計画に基づいて反復的に改良します。このエージェントは、複数の候補ソリューションをアンサンブルするための新しい戦略も採用しています。さらに、MLE-STARには、デバッグ、データ漏洩のチェック、および適切なデータ使用の確保のためのモジュールが含まれています。MLE-Bench-Liteでの評価により、MLE-STARが既存の代替手段よりも大幅に優れたパフォーマンスを発揮し、Kaggleコンペティションの63％でメダルを獲得したことが示されました。この成功は、より最近のモデルの使用、集中した改良、および堅牢なチェックメカニズムによるものです。MLE-STARの自動化されたアプローチは、ML採用の敷居を下げ、この分野の進歩に適応することを目指しています。MLE-STARのオープンソースコードベースが現在利用可能です。