AlphaEvolve, Harbor 및 Gemini 4... 노트

AlphaEvolve, Harbor 및 Gemini 4 Argon을 사용하여 에이전트 스킬 옵티마이저 구축

코딩 에이전트는 소프트웨어 엔지니어링 작업에 점점 더 많이 사용되지만 효과적인 지침이 필요합니다. 에이전트 스킬을 수동으로 작성하면 효과를 평가하기 어렵기 때문에 개선하기 어렵습니다. Terminal-Bench 2.0에서 OpenCode 및 Gemini 3.8 Flash를 사용한 초기 테스트는 기본 스킬로 불확실한 결과를 보였습니다. 성능을 개선하기 위해 AlphaEvolve를 사용하여 반복적으로 새 버전을 제안하고, 평가자로 점수를 매기고, 최상의 스킬을 유지함으로써 스킬을 최적화했습니다. Harbor는 격리된 컨테이너에서 실제 작업에 에이전트를 실행하는 평가자로 사용되었습니다. 이 프로세스는 AlphaEvolve가 다시 작성할 수 있는 프로그램처럼 에이전트 스킬을 처리합니다. Harbor의 평가자는 신뢰할 수 있는 점수를 보장하기 위해 동일한 작업에서 기본 스킬과 후보 스킬을 동시에 비교합니다. 최종 최적화된 스킬을 보지 못한 데이터에 대해 테스트하기 위해 작업의 일부가 예약됩니다. AlphaEvolve는 가장 흔한 실패인 시간 초과를 해결하는 데 중점을 두었습니다. 시스템은 몇 번의 반복으로 5%의 개선을 달성했으며 특정 개발 작업에서 33점의 상당한 증가를 보였습니다. 발생한 과제에는 느린 모델 응답에 대한 계획 및 긴 검색 중 로그 저장 등이 포함되었습니다. 향후 작업에는 비즈니스 규칙을 통합하기 위해 엔터프라이즈 에이전트 하네스에 AlphaEvolve를 테스트하는 것이 포함됩니다.
CdXz5zHNQW_kGRYcLbu5V.png