AWS Neuron 2.33は、ネイティブPyTorchサ... ノート

AWS Neuron 2.33は、ネイティブPyTorchサポート、Neuron Observer、その他の新機能を追加しました

AWS Neuron 2.33 がリリースされ、AWS Trainium 用のネイティブ PyTorch バックエンドである TorchNeuron がパブリックベータ版で提供されます。ユーザーは、eager モードまたは torch.compile を使用して、Amazon EC2 Trn2 および Trn3 インスタンスで標準的な PyTorch モデルを実行できるようになりました。このアップデートでは、Trainium の正常性問題を迅速に検出および診断するための Neuron Observer もパブリックベータ版で導入されます。vLLM Neuron プラグインは vLLM 0.29.0 にアップグレードされ、ビデオ生成用の vLLM Omni Neuron プラグインが統合されました。両方のプラグインは、ネイティブ PyTorch コンパイルのために TorchNeuron を活用します。新しい Neuron Deep Learning AMI およびコンテナには、TorchNeuron、PyTorch 2.14、および PyTorch トレーニング用の TorchTitan が含まれています。Neuron Explorer は、メモリ不足エラーのデバッグのために、メモリ割り当てを特定の Python ソース行に帰属させるようになりました。Neuron Kernel Interface (NKI) を使用して記述されたカーネルは、メタプログラミングのために Python 言語全体を利用できるようになりました。NKI ライブラリには、最近の大規模言語モデルおよびアテンションメカニズム用のものが含まれる 25 個の新しい実験的カーネルが追加されました。これらの強化は、AWS Trainium での PyTorch トレーニングを簡素化し、デバッグ機能を向上させることを目的としています。