AWS Neuron 2.31.0 现已可用,支持 NKI ... 笔记

AWS Neuron 2.31.0 现已可用,支持 NKI 0.5.0 和 UltraServer Operator

AWS Neuron 2.31.0 已发布,包含 NKI 0.5.0,支持 MX FP8 标量数据类型。此外,还引入了张量间接寻址以优化索引访问模式。新的 NkiTensor 视图 API 实现了零成本的张量布局转换。Amazon EKS 上的 Neuron UltraServer 算子现已进入公开测试版,可自动化 Trainium 工作负载的 UltraServer 管理。Neuron 编译器采用了重新设计的代码生成后端,默认在 Trn2 和 Trn3 上启用,从而提升性能。Neuron 运行时现在支持连续共享 Scratchpad,简化了设备配置。NKI 库新增了 14 个实验性内核,包括 MoE 训练集体通信和可变形注意力,并提供了 PyTorch 参考实现。Neuron Explorer 通过系统跟踪查看器源代码链接和更新的默认分组增强了调试功能。此次发布为在 AWS 上进行 AI/ML 开发带来了显著进步。用户可以通过提供的文档链接获取详细信息。