Amazon Bedrock의 NVIDIA NeMo Switchyard를 사용하여 올바른 모델에 라우트 코딩 에이전트 요청
코딩 에이전트는 작업 단위로 작동하며, 중요한 것은 토큰당 가격이 아니라 해결된 작업당 비용입니다. 이 게시물에서는 AWS CDK를 사용하여 Amazon Bedrock에 NVIDIA NeMo Switchyard 라우팅 플러그인을 갖춘 LiteLLM을 배포한 다음, 단일 모델 기준선과 비교하여 라우팅된 모델 그룹의 해결된 작업당 비용을 측정합니다.