在 Amazon Bedrock 上使用开源模型进行提示缓存 笔记

在 Amazon Bedrock 上使用开源模型进行提示缓存

许多生成式 AI 应用会在每次请求时重新发送相同的长上下文。提示缓存(Prompt caching)允许 Amazon Bedrock 上的开源权重模型复用该上下文,从而降低输入成本并减少延迟。本文展示了通过 Chat Completions API 实现的隐式缓存和显式缓存,并将缓存应用于 OpenCode 代码代理会话。
CdXz5zHNQW_fArwIXpzJC.gif