TorchServe 已不再维护，团队需自行管理整个 GPU 推理栈。AWS Ray Serve 深度学习容器（DLC）是一个受支持的预测试容器，其中已集成框架、GPU 驱动和推理层。本文介绍如何在单个 GPU 节点上，利用 Ray Serve DLC 在 Amazon EKS 上部署视觉语言模型。