해결책에 대해 자세히 알아보기 전에 문제의 규모를 이해하는 것이 도움이 됩니다.일반적인 프로덕션 패턴을 살펴보겠습니다. 하루에 10,000개의 메시지를 처리하는 고객 지원 봇으로, 각 메시지에는 2,000개의 토큰 시스템 프롬프트와 200개의 토큰 사용자 메시지가 포함됩니다.