AWS Machine Learning Blog 中文 关注 在 Amazon SageMaker HyperPod 上使用 vLLM 部署 Qwen3.8-2.4T-A95B 学习如何在 Amazon SageMaker HyperPod 上使用 vLLM 部署 Qwen3.8-2.4T-A95B,这是一个拥有 2.4 万亿参数的开源权重模型。本教程涵盖集群配置、NVFP4 量化,以及具备内置推理、工具调用和原生 MTP 推测解码功能的 OpenAI 兼容端点。 Deploying Qwen3.8-2.4T-A95B on Amazon SageMaker HyperPod with vLLM aws.amazon.com AWS Machine Learning Blog 中文 RSS thenote.app