使用 NVIDIA NeMo Switchyard 将路由编... 笔记

使用 NVIDIA NeMo Switchyard 将路由编码代理请求至 Amazon Bedrock 上的正确模型

编码代理在任务中运行,关键指标是每解决一个任务的成本,而非每 token 的价格。在本篇博客中,您将使用 AWS CDK 在 Amazon Bedrock 上部署 LiteLLM,并集成 NVIDIA NeMo Switchyard 路由插件,随后针对路由模型组与单模型基线进行对比,测量每解决一个任务的成本。
CdXz5zHNQW_Gt7ST2z4I6.png