Amazon EKS 上の 2 つの GPU ノードに 1 つの大規模言語モデルをデプロイする方法を、マルチノード Ray LLM Deep Learning Containers を使用して学習します。プレフィルノードとデコードノードを分離し、1 つの OpenAI 互換エンドポイントの後ろに配置します。ビルド済みのコンテナには完全な推論スタックが搭載されているため、デプロイを組み立てるのではなく設定します。