대규모 언어 모델은 종종 필요한 것보다 더 많은 정보를 받습니다. 프롬프트에는 긴 지침, 검색된 문서, 채팅 기록, 예시 및 도구 설명이 포함될 수 있습니다. 이는 토큰 사용량, 비용 및 응답 시간을 증가시킵니다. 또한 모델이 중요한 세부 정보를 식별하기 어렵게 만들 수 있습니다. 프롬프트 압축은 핵심 의미, 지침을 유지하면서 프롬프트를 줄입니다.