Прежде чем переходить к решениям, полезно понять масштаб проблемы.Рассмотрим распространенный производственный сценарий: бот поддержки клиентов, который обрабатывает 10 000 сообщений в день, каждое из которых содержит системный запрос на 2000 токенов и сообщение пользователя на 200 токенов.