AWS Machine Learning Blog на русском
Подписаться
Развертывание передовых моделей ИИ на AWS Trainium с помощью SGLang-Neuron
SGLang-Neuron теперь общедоступен через AWS Deep Learning Container. С помощью SGLang-Neuron вы можете развертывать модели и генерировать результаты обучения с подкреплением с помощью SGLang на AWS Trainium, используя тот же интерфейс SGLang, который вы уже знаете, и все это работает на нативном PyTorch.