Amazon Bedrock 高级提示优化现已支持提示缩短 笔记

Amazon Bedrock 高级提示优化现已支持提示缩短

Amazon Bedrock 高级提示优化现已支持提示缩短,这是一个可选设置,可在保持或提升评估分数的同时缩短提示长度。高级提示优化针对 Amazon Bedrock 上的任何模型,依据您自身的评估标准进行提示优化。此前,优化仅关注质量,优化后的提示往往比原始提示更长。更长的提示会增加输入令牌成本,并可能增加首字延迟,这在大规模应用和对延迟敏感的场景中尤为关键。当您在输入数据集中的提示模板中启用提示缩短时,优化器将缩短提示长度。仅当优化后的提示比原始提示更短,且评估分数至少不低于原始提示时,才会返回优化后的提示;否则将返回原始提示,因此该设置绝不会导致您获得更长或评分更低的提示。结果文件及控制台结果页面中会包含压缩比以及原始和优化后的令牌数量。例如,压缩比为 0.7 表示优化后的提示使用的令牌数减少了 30%。提示缩短适用于所有评估方法,包括转向标准、LLM-as-a-judge 评分表以及自定义 Lambda 评估器。提示缩短在支持高级提示优化的所有 AWS 区域均可用。要开始使用,请在输入数据集中的提示模板中启用提示缩短,并照常创建优化作业。欲了解更多信息,请参阅 Amazon Bedrock 用户指南中的“缩短提示”部分、Amazon Bedrock 定价页面以及 Amazon Bedrock 产品页面。