Amazon SageMaker AI 今年迄今通过两条部署路径共发布了 13 次推理更新：全托管端点和 Amazon SageMaker HyperPod 推理。本文回顾了每次更新，涵盖推理建议、容量感知实例池、分层 KV 缓存以及解耦的预填充与解码。