この投稿では、Amazonは、生成AIショッピングアシスタントであるRufusのために、Amazon TrainiumチップとvLLMを使用して大規模な大規模言語モデルを提供するマルチノード推論ソリューションをどのように開発したかを共有しています。このソリューションは、リーダー/フォロワーオーケストレーションモデル、ハイブリッド並列化戦略、およびAmazon ECS上に構築されたマルチノード推論ユニット抽象化レイヤーを組み合わせて、高いパフォーマンスと信頼性を維持しながら複数のノードにモデルをデプロイします。