AWS Machine Learning Blog 中文 关注 在 Amazon Bedrock 上使用开源模型进行提示缓存 许多生成式 AI 应用会在每次请求时重新发送相同的长上下文。提示缓存(Prompt caching)允许 Amazon Bedrock 上的开源权重模型复用该上下文,从而降低输入成本并减少延迟。本文展示了通过 Chat Completions API 实现的隐式缓存和显式缓存,并将缓存应用于 OpenCode 代码代理会话。 Use prompt caching with open-weight models on Amazon Bedrock aws.amazon.com AWS Machine Learning Blog 中文 RSS thenote.app