AlphaEvolve、Harbor、Gemini 4 Ar... ノート

AlphaEvolve、Harbor、Gemini 4 Argon を使用したエージェントスキルオプティマイザーの構築

コーディングエージェントはソフトウェアエンジニアリングタスクにますます使用されていますが、効果的な指示が必要です。手動で記述されたエージェントスキルは、その有効性を評価するのが難しいため、洗練するのが困難です。Terminal-Bench 2.0でのOpenCodeとGemini 3.8 Flashを使用した初期テストでは、ベースラインスキルでは決定的な結果が得られませんでした。パフォーマンスを向上させるために、AlphaEvolveを使用して、新しいバージョンを繰り返し提案し、評価者でスコアリングし、最良のものを保持することによってスキルを最適化しました。Harborは評価者として使用され、エージェントを分離されたコンテナで実際のタスクで実行しました。このプロセスは、AlphaEvolveが書き換えることができるプログラムのようにエージェントスキルを扱います。Harborの評価者は、信頼できるスコアリングを保証するために、同じタスクで候補スキルをベースラインスキルと比較して同時に実行します。タスクの一部は、最終的に最適化されたスキルを未知のデータでテストするために予約されています。AlphaEvolveは、最も一般的な失敗である時間の経過に対処することに焦点を当てました。システムは、数回のイテレーションで5%の改善を達成し、特定の開発タスクで33ポイントの大幅な増加を達成しました。遭遇した課題には、遅いモデル応答の計画と、長い検索中のログストレージが含まれます。今後の作業には、ビジネスルールを組み込むために、エンタープライズエージェントハーネスでAlphaEvolveをテストすることが含まれます。
CdXz5zHNQW_kGRYcLbu5V.png