Большие языковые модели часто получают больше информации, чем им необходимо. Промпт может включать длинные инструкции, извлеченные документы, историю чата, примеры и описания инструментов. Это увеличивает использование токенов, стоимость и время ответа. Это также может затруднить модели идентификацию важных деталей. Сжатие промпта уменьшает промпт, сохраняя при этом ключевое значение, инструкции, […]