TorchServe больше не поддерживается, оставляя командам ответственность за весь стек GPU-инференса. Контейнер AWS Ray Serve Deep Learning Container — это поддерживаемый, предварительно протестированный контейнер с уже собранными фреймворком, драйверами GPU и слоем обслуживания. В этой статье рассказывается о развертывании модели "зрение-язык" на Amazon EKS с использованием Ray Serve DLC на одном узле с GPU.