AWS Machine Learning Blog 한국어 팔로우 SageMaker HyperPod에서 LLM 추론을 위한 분리된 사전 채우기 및 디코딩 이 게시물에서는 Amazon SageMaker HyperPod에서 HyperPod Inference Operator를 사용하여 vLLM으로 DPD를 구현하는 방법을 보여줍니다. Disaggregated prefill and decode for LLM inference on SageMaker HyperPod aws.amazon.com
