使用 Amazon Bedrock 提示缓存优化成本与延迟 笔记

使用 Amazon Bedrock 提示缓存优化成本与延迟

在 Amazon Bedrock 中,当向基础模型重复发送相同上下文时,提示词缓存(Prompt caching)可将输入 Token 成本降低高达 90%。本文通过 Converse API 介绍六种实用的提示词缓存场景:消息内容、系统提示词、工具定义、混合 TTL、租户隔离以及 LangChain 集成。
CdXz5zHNQW_qZbeeZZ6ei.png