vLLM을 사용하여 2.4조 개의 매개변수를 가진 오픈 웨이트 모델인 Qwen3.8-2.4T-A95B를 Amazon SageMaker HyperPod에 배포하는 방법을 알아보세요. 이 워크스루는 클러스터 프로비저닝, NVFP4 양자화, 그리고 내장된 추론, 도구 호출, 네이티브 MTP 추측 디코딩 기능을 갖춘 OpenAI 호환 엔드포인트를 다룹니다.