在深入探讨解决方案之前，了解问题的规模大有裨益。考虑一个常见的生产场景：一个客户支持机器人，每天处理 10,000 条消息，每条消息包含 2,000 个 token 的系统提示和 200 个 token 的用户消息。