"В этой публикации Amazon рассказывает, как они разработали многоузловое решение для инференса Rufus, их генеративного ИИ-ассистента для покупок, используя чипы Amazon Trainium и vLLM для обслуживания больших языковых моделей в масштабе. Решение сочетает в себе модель оркестрации "лидер/последователь", гибридные стратегии параллелизма и абстрактный слой многоузлового инференса, построенный на Amazon ECS, для развертывания моделей на нескольких узлах, сохраняя при этом высокую производительность и надежность."