Агент кодирования маршрутов за... Заметка

Агент кодирования маршрутов запрашивает правильную модель на Amazon Bedrock с NVIDIA NeMo Switchyard

Кодирующие агенты работают над задачами, и важна не цена за токен, а стоимость за решенную задачу. В этой статье вы используете AWS CDK для развертывания LiteLLM с плагином маршрутизации NVIDIA NeMo Switchyard на Amazon Bedrock, а затем измеряете стоимость за решенную задачу для группы маршрутизируемых моделей по сравнению с базовыми показателями для одной модели.
CdXz5zHNQW_Gt7ST2z4I6.png