모델을 백만 토큰당 달러로 비교하는 것은 프로덕션 워크로드가 실제로 비용을 지불하는 것, 즉 결과(outcomes)를 놓치는 것입니다. 이 게시물은 Amazon Bedrock의 OpenAI 모델 전반에 걸쳐 정답당 비용, 에이전트 경로 비용, 루브릭 평가 결과 품질을 측정하는 오픈 소스 벤치마킹 하네스를 공유합니다.