LLM은 잊어버려서 실패하는 것이 아니라 너무 많이 기억해서 실패합니다. 대화가 길어질수록 프롬프트는 중복되고 가치가 낮은 토큰을 축적하여 비용과 지연 시간을 증가시키면서 출력 품질을 조용히 저하시킵니다. 이 글은 종속성을 깨뜨리지 않고 토큰 사용량을 줄이는 결정론적 프롬프트 가지치기 레이어를 소개하며, 실제 벤치마크와 프로덕션 테스트를 거친 디자인으로 뒷받침됩니다.