VentureBeat 日本語
フォロー
ACRouterはタスクごとに最も賢いAIモデルを選択し、Opusのみのセットアップと比較してコストを2.6倍削減します。
モデルルーティングは、パフォーマンスとコストを最適化するために、プロンプトを適切なAIモデルに動的に振り分けます。現在の静的ルーティング方法は、実行結果から学習できない情報不足によって制限されています。Agent-as-a-Routerという新しいフレームワークは、ルーティングをコンテキスト-アクション-フィードバックループを使用する、記憶を構築する動的なエージェントとして扱います。このループは、モデルの成功と失敗を追跡し、ルーターの動作を継続的に更新します。ACRouterは、実用的な実装であり、静的ルーターや高価なデフォルト戦略を大幅に上回ります。これは、広範なモデルトレーニングや複雑なルールを必要とせずに、ユーザー行動や基盤モデルの変化に適応します。静的ルーターは、実行フィードバックを欠き、新しいデータに適応できず、モデルの更新とともに時代遅れになるため失敗します。Agent-as-a-Routerは、デプロイメント中に実行に基づいた情報を蓄積することで、これを克服します。C-A-Fループにより、ルーターは過去のやり取りから学習し、将来のルーティング決定を改善できます。ACRouterは、メモリ、オーケストレーション、検証のためのモジュールを活用し、実際の実行フィードバックのためのツールレイヤーによってサポートされています。ベンチマークは、ACRouterが複雑な分布外シナリオを含む多様なタスクで高い精度とコスト削減を達成することを示しています。このフレームワークは、検証可能なタスクや、異なるモデルが個別のニッチで優れているドメインに最も適しています。