Amazon SageMaker HyperPod 推理网关是专为 Amazon EKS 设计的 Kubernetes 原生、GPU 感知路由附加组件。它利用实时 GPU 信号，将每个推理请求路由至最合适的 Pod，在无需修改模型服务器或客户端应用程序的情况下，将首 token 延迟降低高达 82%。