AWS Machine Learning Blog на русском
Подписаться
Агент кодирования маршрутов запрашивает правильную модель на Amazon Bedrock с NVIDIA NeMo Switchyard
Кодирующие агенты работают над задачами, и важна не цена за токен, а стоимость за решенную задачу. В этой статье вы используете AWS CDK для развертывания LiteLLM с плагином маршрутизации NVIDIA NeMo Switchyard на Amazon Bedrock, а затем измеряете стоимость за решенную задачу для группы маршрутизируемых моделей по сравнению с базовыми показателями для одной модели.