TorchServe はメンテナンスされなくなり、チームは GPU 推論スタック全体を自分で管理する必要が生じました。AWS Ray Serve Deep Learning Container は、フレームワーク、GPU ドライバー、およびサービングレイヤーがすでに組み込まれた、サポートされている事前テスト済みのコンテナです。この記事では、Ray Serve DLC を使用して、単一 GPU ノード上の Amazon EKS にビジョン言語モデルをデプロイする方法を説明します。