AWS Machine Learning Blog 日本語 フォロー SageMaker HyperPodにおけるLLM推論のための、分散プリフィルおよびデコード この投稿では、HyperPod Inference Operator を使用して、Amazon SageMaker HyperPod 上の vLLM で DPD を実装する方法を示します。 Disaggregated prefill and decode for LLM inference on SageMaker HyperPod aws.amazon.com
