RSS Блог об архитектуре AWS
Подписаться
Развертывание LLM на Amazon EKS с использованием контейнеров глубокого обучения vLLM
В этой публикации мы продемонстрируем, как развернуть модель DeepSeek-R1-Distill-Qwen-32B с использованием AWS DLC для vLLMs на Amazon EKS, показывая, как эти специально разработанные контейнеры упрощают развертывание этого мощного движка для инференса с открытым исходным кодом. Это решение поможет вам решить сложные инфраструктурные задачи развертывания LLM, сохраняя при этом производительность и экономическую эффективность.