AWS Machine Learning Blog на русском
Подписаться
Разделение предварительного заполнения и декодирования для инференса LLM на SageMaker HyperPod
В этой статье мы покажем, как реализовать DPD с помощью vLLM на Amazon SageMaker HyperPod, используя оператор вывода HyperPod.
