최적화에 집착하여 추론 비용을 68% 절감 노트

최적화에 집착하여 추론 비용을 68% 절감

AI 코드 리뷰어의 실행당 비용이 두 배로 뛰었을 때, 우리는 그 이유를 알아내기 위해 토큰 사용량을 조사했습니다. 프롬프트 캐싱과 지능형 모델 라우팅을 사용하여 추론 비용을 68% 절감하고 리뷰 속도를 높인 방법을 알아보세요.
CdXz5zHNQW_LYbUwaf7Sd.png