In diesem Beitrag teilt Amazon mit, wie sie eine Multi-Node-Inferenzlösung für Rufus, ihren generativen KI-Shopping-Assistenten, entwickelt haben. Dabei wurden Amazon Trainium-Chips und vLLM verwendet, um große Sprachmodelle in großem Maßstab bereitzustellen. Die Lösung kombiniert ein Leader/Follower-Orchestrierungsmodell, hybride Parallelisierungsstrategien und eine Multi-Node-Inferenz-Einheit-Abstraktionsschicht, die auf Amazon ECS aufbaut, um Modelle über mehrere Knoten hinweg bereitzustellen und gleichzeitig hohe Leistung und Zuverlässigkeit aufrechtzuerhalten.