Amazon Bedrock 고급 프롬프트 최적화가 이제 프롬프트 단축 기능을 지원합니다. 이 기능은 선택 사항으로, 평가 점수를 유지하거나 개선하면서 프롬프트 길이를 줄여줍니다. 고급 프롬프트 최적화는 Amazon Bedrock의 모든 모델에 대해 자체 평가 기준에 맞춰 프롬프트를 최적화합니다. 지금까지는 품질에만 초점을 맞춰 최적화했으며, 최적화된 프롬프트는 종종 원본보다 길었습니다. 긴 프롬프트는 입력 토큰 비용을 증가시키고 첫 토큰까지의 시간을 늘릴 수 있으며, 이는 대규모 및 지연 시간에 민감한 애플리케이션에서 중요합니다.입력 데이터 세트의 프롬프트 템플릿에 대해 프롬프트 단축을 활성화하면 최적화 프로그램이 프롬프트 길이를 줄입니다. 최적화된 프롬프트는 원본 프롬프트보다 짧고 평가에서 최소한 동일한 점수를 얻는 경우에만 반환됩니다. 그렇지 않으면 원본 프롬프트가 반환되므로 이 설정은 더 길거나 점수가 낮은 프롬프트를 남기지 않습니다. 결과에는 압축률과 원본 및 최적화된 토큰 수가 출력 파일과 콘솔 결과 페이지에 포함됩니다. 예를 들어, 압축률이 0.7이면 최적화된 프롬프트가 토큰을 30% 적게 사용한다는 의미입니다. 프롬프트 단축은 스티어링 기준, LLM-as-a-judge 루브릭, 사용자 지정 Lambda 평가자를 포함한 모든 평가 방법과 함께 작동합니다.프롬프트 단축은 고급 프롬프트 최적화를 사용할 수 있는 모든 AWS 리전에서 사용할 수 있습니다. 시작하려면 입력 데이터 세트의 프롬프트 템플릿에 대해 프롬프트 단축을 활성화하고 평소와 같이 최적화 작업을 생성하십시오. 자세한 내용은 Amazon Bedrock 사용 설명서의 "프롬프트 단축" 섹션, Amazon Bedrock 가격 페이지 및 Amazon Bedrock 제품 페이지를 참조하십시오.