Amazon Bedrock 中 Anthropic Claude 模型的简化缓存管理
Amazon Bedrock 为 Anthropic 的 Claude 模型更新了提示缓存,以提高 Claude 3.5 Haiku、Claude 3.7 和 Claude 4 模型的易用性。以前,开发者需要手动管理缓存点,并跟踪哪些缓存段应该被重新使用。通过简化的缓存管理,您只需在请求末尾设置一个缓存断点。系统会自动读取先前缓存的最长前缀,从而无需手动指定要重用的段,并减少了管理缓存逻辑所需的精力。通过自动识别和应用正确的缓存内容,简化的缓存管理不仅有助于减少手动工作量,还可以腾出更多 token,因为缓存读取的 token 不会计入您的每分钟 token (TPM) 配额。这可以更轻松地构建多轮对话工作流和研究助手,同时提高性能和成本效益。简化的缓存管理现已在 Amazon Bedrock 上提供 Anthropic Claude 3.5 Haiku、Claude 3.7 和 Claude 4 模型的所有区域可用。要开始使用,请查阅 Amazon Bedrock 开发人员指南,并在模型调用中启用缓存。