엔터프라이즈 AI는 강력한 파운데이션 모델이 프로덕션 환경에서 지나치게 비싸다는 점에서 투자 수익률 역설에 직면해 있습니다. 연구자들은 파운데이션 모델 주변의 오케스트레이션 계층인 AI 하네스를 최적화하는 것을 해결책으로 제안합니다. 프롬프트 캐싱 및 상호작용 기록 압축과 같은 구성 요소를 개선함으로써 품질을 저하시키지 않으면서 상당한 비용 절감을 달성했습니다. 이 접근 방식을 통해 엔지니어링 팀은 기본 모델을 미세 조정하지 않고도 비용 효율적인 AI 애플리케이션을 구축할 수 있습니다. 현재 업계의 "토큰맥싱(tokenmaxxing)" 트렌드는 효율적인 시스템 설계 대신 큰 컨텍스트 창에 의존하여 리소스를 낭비합니다. 이 무차별 대입 방식은 토큰 비용을 무시할 수 있는 것으로 취급하여 시간이 지남에 따라 누적되는 근본적인 비효율성을 숨깁니다. 프롬프트 압축과 같은 기존의 효율성 기법은 시스템의 일부만 최적화하고 오케스트레이션 계층을 무시하기 때문에 실패합니다. 역사적으로 일회용 코드로 취급되었던 하네스는 이제 AI 비용을 제어하는 데 중요하다고 인식됩니다. 하네스 최적화에는 시스템 프롬프트 캐싱, 상호작용 기록 압축, 도구 관리, 검색 전략 및 오류 관리가 포함됩니다. 실험 결과 하네스 최적화를 통해 작업당 비용이 41%, 토큰 소비가 38% 감소했습니다. 작업 성공률은 일정하게 유지되었고 엔드투엔드 지연 시간이 크게 단축되었습니다. 개발자는 캐싱을 위한 "투존 프롬프트(Two-Zone Prompt)" 및 컨텍스트 관리를 위한 "컨텍스트 오프로딩(Context Offloading)"과 같은 최적화를 구현할 수 있습니다. 토큰 예산 및 생성 제한에 대한 엄격한 검사를 통해 복원력 있는 루프를 구축하는 것은 통제 불능의 비용을 피하는 데 필수적입니다. 파운데이션 모델이 발전함에 따라 하네스는 모델의 약점을 보완하는 것에서 예산 및 데이터 경계와 같은 엔터프라이즈 정책을 시행하는 것으로 전환될 것입니다.