팀들은 종종 LLM 비용 최적화를 위해 인프라에 집중하며 프롬프트 캐싱을 간과합니다. 토큰 비용을 크게 절감하는 프롬프트 캐싱은 시스템 프롬프트의 동적 콘텐츠로 인해 자주 깨집니다. 타임스탬프나 사용자 데이터와 같은 동적 요소는 캐시를 망가뜨려 전체 토큰 가격을 발생시킵니다. ProjectDiscovery는 동적 콘텐츠를 사용자 메시지로 옮겨 캐시 히트율을 성공적으로 개선하여 많은 비용을 절감했습니다. 핵심 원칙은 최대 캐싱 이점을 위해 시스템 프롬프트를 정적으로 유지하는 것입니다. 지침 및 도구 정의와 같은 정적 요소는 프롬프트에서 동적 콘텐츠보다 먼저 와야 합니다. 낮은 캐시 읽기 토큰 비율은 프롬프트 구조에 잠재적인 문제가 있음을 나타냅니다. 인프라 변경에 비해 올바른 프롬프트 구조를 우선시하면 비용을 대폭 절감할 수 있습니다. 많은 사람들이 시스템 프롬프트에 동적 데이터가 포함되어 있어 상당한 절감 효과를 놓치고 있습니다. 비용 효율적인 LLM 사용을 위해 프롬프트 구조를 검토하고 정적 및 동적 요소를 분리하는 것이 중요합니다. 절감 효과는 빠르게 실현되며, 종종 청구서를 개선합니다.