在 Amazon SageMaker HyperPod 上使... 笔记

在 Amazon SageMaker HyperPod 上使用 vLLM 部署 Qwen3.8-2.4T-A95B

学习如何在 Amazon SageMaker HyperPod 上使用 vLLM 部署 Qwen3.8-2.4T-A95B,这是一个拥有 2.4 万亿参数的开源权重模型。本教程涵盖集群配置、NVFP4 量化,以及具备内置推理、工具调用和原生 MTP 推测解码功能的 OpenAI 兼容端点。
CdXz5zHNQW_qJakuuz1Iy.png