LLM 애플리케이션에서 프롬프트 캐싱이 중요한 이유는 무엇인가요?최신 LLM 앱은 동일하거나 거의 동일한 프롬프트를 여러 번 받는 경우가 많습니다. 이는 양식 제출, 일반적인 FAQ 질문, 에이전트 도구 호출 또는 사용자가 다른 말로 같은 것을 물어볼 때 발생합니다. 캐싱이 없으면 이러한 반복 요청 각각은 전체 토큰 비용, 전체 지연 시간, 그리고 원치 않는 속도 제한 압력을 발생시킵니다.현재 프로덕션에서 사용되는 네 가지 캐싱 방법이 있습니다. 3부작 시리즈의 1부인 이 글에서는 첫 번째이자 가장 기본적인 방법인 정확히 일치하는 캐싱을 다룹니다. 2부에서는 의미는 같지만 다르게 표현된 요청에 대한 의미론적 캐싱을 다룹니다. 3부에서는 모델 서빙 계층 자체에서 발생하는 일, 즉 자체 호스팅된 KV 캐시 재사용 및 제공업체 접두사 캐싱, 그리고 모든 팀이 결국 필요로 하는 프로덕션 세부 정보(메트릭 모니터링, 비용 산출, 전체 체크리스트)를 다룹니다.