Blog de Arquitectura AWS RSS
Seguir
Implementar LLMs en Amazon EKS utilizando contenedores de aprendizaje automático vLLM
En esta publicación, demostramos cómo implementar el modelo DeepSeek-R1-Distill-Qwen-32B utilizando contenedores DLC de AWS para vLLMs en Amazon EKS, destacando cómo estos contenedores personalizados simplifican la implementación de este potente motor de inferencia de código abierto. Esta solución puede ayudarte a resolver los complejos desafíos de infraestructura de implementar LLMs mientras se mantiene el rendimiento y la eficiencia de costos.