Amazon Bedrock上のNVIDIA NeMo Sw... ノート

Amazon Bedrock上のNVIDIA NeMo Switchyardで、適切なモデルにルーティングコーディングエージェントのリクエスト

コーディングエージェントはタスクで機能し、重要なのはトークンあたりの価格ではなく、解決済みタスクあたりのコストです。この記事では、AWS CDKを使用してAmazon BedrockにNVIDIA NeMo Switchyardルーティングプラグインを搭載したLiteLLMをデプロイし、単一モデルのベースラインに対してルーティングされたモデルグループの解決済みタスクあたりのコストを測定します。
CdXz5zHNQW_Gt7ST2z4I6.png