Выпущена версия AWS Neuron 2.31.0, включающая NKI 0.5.0 с поддержкой типа данных MX FP8 scale. Также представлена тензорная индирекция для оптимизированных шаблонов индексированного доступа. Новые API представлений NkiTensor позволяют выполнять преобразования компоновки тензоров с нулевыми затратами. Оператор Neuron UltraServer для Amazon EKS теперь находится в публичной бета-версии, автоматизируя управление UltraServer для рабочих нагрузок Trainium. Компилятор Neuron имеет переработанный бэкенд генерации кода, включенный по умолчанию на Trn2 и Trn3, что повышает производительность. Neuron Runtime теперь поддерживает непрерывную общую scratchpad, упрощая конфигурацию устройства. Библиотека NKI добавляет 14 новых экспериментальных ядер, включая коллективы для обучения MoE и деформируемое внимание, с эталонными реализациями PyTorch. Neuron Explorer улучшает отладку благодаря связыванию исходного кода с System Trace Viewer и обновленному группированию по умолчанию. Этот выпуск предлагает значительные достижения в разработке AI/ML на AWS. Пользователи могут ознакомиться с подробной информацией по предоставленным ссылкам на документацию.