AWS Neuron 2.33 增加了原生 PyTorch 支持、Neuron Observer 以及其他新功能”
AWS Neuron 2.33 已发布,其中包含 TorchNeuron,这是面向 AWS Trainium 的原生 PyTorch 后端,现已进入公开测试版。用户现在可以在 Amazon EC2 Trn2 和 Trn3 实例上使用 eager 模式或 torch.compile 运行标准 PyTorch 模型。此次更新还引入了处于公开测试版的 Neuron Observer,用于快速检测并诊断 Trainium 健康状态问题。vLLM Neuron 插件已升级至 vLLM 0.29.0,且用于视频生成的 vLLM Omni Neuron 插件现已集成。这两个插件均利用 TorchNeuron 实现原生 PyTorch 编译。新的 Neuron 深度学习 AMI 和容器包含 TorchNeuron、PyTorch 2.14 以及用于 PyTorch 训练的 TorchTitan。Neuron Explorer 现已能够将内存分配归因于特定的 Python 源代码行,以调试内存不足错误。使用 Neuron Kernel Interface (NKI) 编写的内核现在可利用完整的 Python 语言进行元编程。NKI 库新增了 25 个实验性内核,涵盖近期大型语言模型和注意力机制。这些改进旨在简化在 AWS Trainium 上的 PyTorch 训练流程,并提升调试能力。