Сегодня AWS запустила публичную бета-версию TorchNeuron, открытого бэкенда PyTorch для AWS Trainium. Trainium — это семейство ИИ-чипов, разработанных для обеспечения высокой производительности и экономической эффективности при обучении и инференсе моделей глубокого обучения. TorchNeuron позволяет ученым и исследователям в области ИИ экспериментировать и создавать модели с помощью PyTorch непосредственно на Trainium.С помощью TorchNeuron разработчики могут использовать свой код PyTorch на Trainium, просто переключившись на .to('neuron'), сохраняя при этом полную совместимость с PyTorch при использовании eager execution, torch.compile и стандартных API PyTorch. Кроме того, TorchNeuron интегрируется с Neuron Kernel Interface (NKI) для поддержки пользовательских операторов и оптимизации производительности для оборудования Trainium.TorchNeuron доступен в виде открытого исходного кода в репозитории TorchNeuron на GitHub для экземпляров Amazon EC2 Trainium2 и Amazon EC2 Trainium3.Чтобы узнать больше о TorchNeuron и ускорителях AWS Trainium, посетите страницу AWS Neuron.