MLE-STAR: 최첨단 머신러닝 엔지니어링 에이전트

기계 학습의 부상은 복잡한 엔지니어링 과제를 초래하여, 이러한 과제를 자동화하는 데 대규모 언어 모델(LLM)을 에이전트로 사용하는 연구를 촉진시켰다. 이러한 LLM 에이전트는 ML 문제를 코드 최적화 과제로 개념화하여 실행 가능한 코드를 생성한다. 그러나 현재의 에이전트는 친숙한 방법에 의존하여 특정 코드 구성 요소의 심층 탐색에 어려움을 겪는다. 이를 해결하기 위해 MLE-STAR가 개발되었는데, 이는 웹 검색과 대상 코드 블록 정제를 통합하는 새로운 ML 엔지니어링 에이전트이다. MLE-STAR는 먼저 관련 모델을 웹에서 검색하고, LLM 생성 계획에 따라 특정 코드 블록을 반복적으로 정제한다. 또한, 이 에이전트는 다중 후보 솔루션을 앙상블하는 새로운 전략을 사용한다. 또한, MLE-STAR에는 디버깅, 데이터 유출 확인 및 적절한 데이터 사용 확인 모듈이 포함되어 있다. MLE-Bench-Lite의 평가에서는 MLE-STAR가 기존 대안보다 현저한 성능을 보여, 63%의 Kaggle 대회에서 메달을 수상했다. 이러한 성공은 최근 모델의 사용, 집중된 정제 및 강력한 확인 메커니즘에 기인한다. MLE-STAR의 자동화 접근 방식은 ML 채택의 장벽을 낮추고 분야의 발전에 적응하도록 설계되었다. 이제 MLE-STAR의 오픈 소스 코드베이스가 사용 가능하다.