Amazon Bedrock Advanced Prompt Optimization теперь поддерживает сокращение промптов — необязательную настройку, которая уменьшает длину вашего промпта, сохраняя или улучшая при этом ваши оценочные показатели. Advanced Prompt Optimization оптимизирует промпты для любой модели на Amazon Bedrock в соответствии с вашими собственными критериями оценки. До сих пор оптимизация была сосредоточена только на качестве. Оптимизированные промпты часто были длиннее исходных. Более длинные промпты увеличивают затраты на входные токены и могут увеличить время до первого токена, что имеет значение в больших масштабах и в приложениях с чувствительностью к задержкам.Когда вы включаете сокращение промптов для шаблона промпта в вашем входном наборе данных, оптимизатор уменьшает длину промпта. Оптимизированный промпт возвращается только в том случае, если он короче вашего исходного промпта и набирает не меньше баллов по вашей оценке. В противном случае возвращается ваш исходный промпт, поэтому настройка никогда не оставит вас с более длинным или менее качественным промптом. Результаты включают коэффициент сжатия, а также количество исходных и оптимизированных токенов в выходном файле и на странице результатов консоли. Например, коэффициент сжатия 0,7 означает, что оптимизированный промпт использует на 30% меньше токенов. Сокращение промптов работает с любым методом оценки, включая критерии управления, рубрики LLM-as-a-judge и пользовательские оценщики Lambda.Сокращение промптов доступно во всех регионах AWS, где доступна Advanced Prompt Optimization. Чтобы начать, включите сокращение промптов для шаблона промпта в вашем входном наборе данных и создайте задание оптимизации как обычно. Чтобы узнать больше, см. раздел "Сокращение промптов" в Руководстве пользователя Amazon Bedrock, страницу цен Amazon Bedrock и страницу продукта Amazon Bedrock.