AWS、TorchNeuronを発表:AWS Trainiu... ノート

AWS、TorchNeuronを発表:AWS Trainium向けネイティブPyTorchサポート(パブリックベータ版)

本日、AWSはAWS Trainium向けのオープンソースネイティブPyTorchバックエンドであるTorchNeuronのパブリックベータ版をローンチしました。Trainiumは、ディープラーニングAIトレーニングおよび推論ワークロードに対して高性能とコスト効率を提供するように設計されたAIチップのポートフォリオです。TorchNeuronにより、AI科学者および研究者は、Trainium上でPyTorchを使用してネイティブにモデルを実験および構築できます。TorchNeuronを使用すると、開発者は、eager execution、torch.compile、および標準PyTorch APIとの完全なPyTorch互換性を維持しながら、.to('neuron')に切り替えるだけで、PyTorchコードをTrainiumで有効にできます。さらに、TorchNeuronはNeuron Kernel Interface(NKI)と統合されており、Trainiumハードウェア向けのカスタムオペレーターとパフォーマンス最適化を可能にします。TorchNeuronは、Amazon EC2 Trainium2インスタンスおよびAmazon EC2 Trainium3インスタンス向けのTorchNeuron githubリポジトリを通じてオープンソースで利用可能です。TorchNeuronおよびAWS Trainiumアクセラレータの詳細については、AWS Neuronページをご覧ください。