Amazon SageMaker AI 现已支持针对实时推理... 笔记

Amazon SageMaker AI 现已支持针对实时推理端点的 KV 缓存感知路由。

Amazon SageMaker AI 现已支持针对实时推理端点的 KV 缓存感知路由,使您能够为具有长提示或重复提示的 LLM 工作负载减少首 token 延迟。vLLM 等推理引擎会为重复的提示启动(如共享系统提示、文档和对话历史)存储计算出的键值(KV)缓存,以跳过重复的计算工作。在多个实例中,若请求落在缺失缓存的位置,则会重新计算该缓存。在高负载下,实例还会驱逐缓存块以释放 GPU 内存,包括共享提示和早期的对话轮次。KV 缓存感知路由会将每个请求发送至持有其提示中最长匹配部分缓存的实例。vLLM 容器会报告其存储和驱逐的缓存块,SageMaker 据此进行实时路由。若查找缓慢或未找到匹配,端点将回退至负载感知路由,从而确保请求仍能得到服务。前缀感知路由适用于稳定的共享提示、短提示或中等负载场景;而 KV 缓存感知路由则更适用于长提示、高负载及 GPU 内存受限的场景。客户现在可以通过在生产变体中将 RoutingStrategy 设置为 KV_AWARE,并添加一个环境变量以使容器报告缓存事件,来启用此功能。客户可以使用相同的 API 和 OpenAI 兼容载荷调用端点。该功能支持单模型端点和推理组件(包括 LoRA 适配器),且运行于 GPU 实例上。它需要 AWS vLLM 深度学习容器版本 0.33.0 或更高版本,并至少包含两个实例或推理组件副本。详细的可观测性指标会显示 KV 缓存命中率。KV 缓存感知路由不产生额外费用。KV 缓存感知路由现已在所有提供 Amazon SageMaker AI 服务的 AWS 区域上线。要开始使用,请更新至最新的 AWS SDK 或 CLI。欲了解更多信息,请访问 Amazon SageMaker AI 推理页面并查阅 API 文档。