InfoQ 日本語
フォロー
JioHotstar、AIコーディングエージェント向けナレッジベースのベンチマークを実施
JioHotstarは、SWE、CodeScale Bench、および内部質問応答ハーネスを使用して、AIコーディングエージェント向けのコード検索アプローチを6つ評価しました。構造検索は具体的なタスクで良好なパフォーマンスを示し、セマンティック検索は曖昧な要件に役立ちました。これらの発見は、精度、トークン使用量、ツール設計におけるトレードオフを浮き彫りにし、検索ツールをタスクタイプに合わせる必要性を強調しています。Leela Kumiliによる