在这篇文章中，亚马逊分享了他们如何利用 Amazon Trainium 芯片和 vLLM 为其生成式 AI 购物助手 Rufus 开发了一个多节点推理解决方案，以大规模服务大型语言模型。该解决方案结合了主/从协调模型、混合并行策略以及基于 Amazon ECS 构建的多节点推理单元抽象层，实现了跨多个节点部署模型，同时保持了高性能和高可靠性。