使用 AlphaEvolve、Harbor 和 Gemini... 笔记

使用 AlphaEvolve、Harbor 和 Gemini 4 Argon 构建智能体技能优化器

编码代理正越来越多地用于软件工程任务,但需要有效的指令。手动编写的代理技能难以优化,因为其效果难以评估。在 Terminal-Bench 2.0 上对 OpenCode 和 Gemini 3.8 Flash 进行的初步测试显示,使用基线技能的结果尚无定论。为提升性能,采用了 AlphaEvolve 通过迭代提出新版本、由评估器打分并保留最优版本来优化技能。Harbor 被用作评估器,在隔离容器中运行代理以处理真实任务。该过程将代理技能视为可由 AlphaEvolve 重写的程序。Harbor 中的评估器会同时在相同任务上将候选技能与基线技能进行对比,以确保评分的可信度。部分任务被预留用于在未见数据上测试最终优化的技能。AlphaEvolve 重点关注解决最常见的失败原因:超出时间限制。该系统在几次迭代后实现了 5% 的性能提升,并在特定开发任务上显著提升了 33 分。遇到的挑战包括针对慢速模型响应进行规划以及在长时间搜索期间的日志存储。未来的工作涉及在企业级代理框架上测试 AlphaEvolve,以便融入业务规则。
CdXz5zHNQW_kGRYcLbu5V.png