AWS Machine Learning Blog 中文 关注 使用 NVIDIA NeMo Switchyard 将路由编码代理请求至 Amazon Bedrock 上的正确模型 编码代理在任务中运行,关键指标是每解决一个任务的成本,而非每 token 的价格。在本篇博客中,您将使用 AWS CDK 在 Amazon Bedrock 上部署 LiteLLM,并集成 NVIDIA NeMo Switchyard 路由插件,随后针对路由模型组与单模型基线进行对比,测量每解决一个任务的成本。 Route coding agent requests to the right model on Amazon Bedrock with NVIDIA NeMo Switchyard aws.amazon.com AWS Machine Learning Blog 中文 RSS thenote.app