Amazon Bedrock의 NVIDIA NeMo Sw... 노트

Amazon Bedrock의 NVIDIA NeMo Switchyard를 사용하여 올바른 모델에 라우트 코딩 에이전트 요청

코딩 에이전트는 작업 단위로 작동하며, 중요한 것은 토큰당 가격이 아니라 해결된 작업당 비용입니다. 이 게시물에서는 AWS CDK를 사용하여 Amazon Bedrock에 NVIDIA NeMo Switchyard 라우팅 플러그인을 갖춘 LiteLLM을 배포한 다음, 단일 모델 기준선과 비교하여 라우팅된 모델 그룹의 해결된 작업당 비용을 측정합니다.
CdXz5zHNQW_Gt7ST2z4I6.png