En esta publicación, Amazon comparte cómo desarrolló una solución de inferencia multinodo para Rufus, su asistente de compras de IA generativa, utilizando chips Amazon Trainium y vLLM para servir modelos de lenguaje grandes a escala. La solución combina un modelo de orquestación líder/seguidor, estrategias de paralelismo híbrido y una capa de abstracción de unidad de inferencia multinodo construida sobre Amazon ECS para implementar modelos en múltiples nodos manteniendo un alto rendimiento y fiabilidad.