Amazon Bedrock上のNVIDIA NeMo Switchyardで、適切なモデルにルーティングコーディングエージェントのリクエスト
コーディングエージェントはタスクで機能し、重要なのはトークンあたりの価格ではなく、解決済みタスクあたりのコストです。この記事では、AWS CDKを使用してAmazon BedrockにNVIDIA NeMo Switchyardルーティングプラグインを搭載したLiteLLMをデプロイし、単一モデルのベースラインに対してルーティングされたモデルグループの解決済みタスクあたりのコストを測定します。