Google Cloud Blog на русском
Подписаться
Создание оптимизатора навыков агента с помощью AlphaEvolve, Harbor и Gemini 4 Argon
Кодирующие агенты все чаще используются для задач программной инженерии, но требуют эффективных инструкций. Ручное написание навыков агентов сложно усовершенствовать, так как их эффективность трудно оценить. Первоначальные тесты с OpenCode и Gemini 3.8 Flash на Terminal-Bench 2.0 показали неубедительные результаты с базовым набором навыков. Для повышения производительности был использован AlphaEvolve для оптимизации навыков путем итеративного предложения новых версий, оценки их с помощью оценщика и сохранения лучших. Harbor использовался в качестве оценщика, запуская агентов на реальных задачах в изолированных контейнерах. Этот процесс рассматривает навыки агентов как программы, которые AlphaEvolve может переписывать. Оценщик в Harbor одновременно сравнивает кандидатские навыки с базовым набором навыков на одних и тех же задачах, чтобы обеспечить надежную оценку. Часть задач зарезервирована для тестирования окончательного оптимизированного навыка на невиданных данных. AlphaEvolve сосредоточился на решении наиболее распространенной проблемы: истечении времени. Система достигла 5% улучшения за несколько итераций и значительного увеличения на 33 пункта в конкретных задачах разработки. Возникшие проблемы включали планирование медленных ответов модели и хранение журналов во время длительных поисков. Будущая работа включает тестирование AlphaEvolve на корпоративных системах агентов для включения бизнес-правил.