저자의 인프라 법안은 단일 코딩 지원 API의 높은 비용으로 인해 과도했습니다. 이에 따라 대체 모델과 실제 성능에 대한 조사가 촉발되었습니다. 비용 효율성을 결정하기 위해 다섯 가지 일반적인 엔지니어링 작업에 걸쳐 열 가지 모델을 벤치마킹했습니다. "업계 최고" 모델에 대한 마케팅 주장은 신뢰할 수 없다는 것이 밝혀졌습니다. 목표는 특정 워크로드에 대해 최고의 투자 수익률을 제공하는 모델을 찾는 것이었습니다.벤치마킹에는 모델을 정확성, 코드 품질, 문서화 및 엣지 케이스에 대해 점수를 매긴 다음 백만 토큰당 출력 비용으로 나누는 과정이 포함되었습니다. 이 "달러당 점수" 지표는 효율적인 모델을 식별하는 데 중요한 것으로 입증되었습니다. 저자는 일반적인 작업에서 전문화되고 저렴한 모델이 비싸고 범용적인 모델보다 자주 뛰어난 성능을 보인다는 것을 발견했습니다. 그러나 복잡한 추론이나 중요한 코드 검토의 경우 프리미엄 모델이 그 가치를 입증했습니다.테스트 결과, 서로 다른 모델이 서로 다른 유형의 작업에 뛰어나다는 것이 밝혀졌으며, 이는 라우팅 전략으로 이어졌습니다. 저자는 이제 복잡성과 성격에 따라 특정 모델로 프롬프트를 전달합니다. 이 접근 방식은 API 지출을 추정 87%까지 크게 줄였습니다. Ga-Standard와 같은 라우팅 모델도 자체 라우팅 로직을 구축하고 싶지 않은 사람들을 위한 옵션으로 강조되었습니다.핵심 시사점은 공급업체 종속을 피하는 것의 중요성입니다. 통합 API 계층을 사용함으로써 저자는 가격이 변경되거나 성능이 저하될 경우 모델을 쉽게 전환할 수 있습니다. 이러한 추상화는 유연성을 보장하고 비용이 많이 드는 마이그레이션을 방지합니다. 저자는 통합 비용을 최소화하기 위해 OpenAI 호환 인터페이스를 표준화할 것을 옹호합니다. 궁극적으로 벤치마킹 프로세스는 상당한 비용 절감과 더 강력하고 적응력 있는 AI 코딩 지원 전략으로 이어졌습니다.