RSS Блог разработчиков Google
Подписаться
Ускорение ИИ на устройстве: взгляд на оптимизацию краевого ИИ от Arm и Google
Интеграция масштабируемого матричего расширения Arm 2 (SME2) и программного стека Google AI Edge позволяет выполнять высокопроизводительную, генеративную ИИ на устройстве, превращая ЦП в мощный ускоритель матричных вычислений. Используя модель "stable-audio-open-small" от Stability AI в качестве примера, в ней описана оптимизированная труба "Преобразовать, Оптимизировать и Развернуть", которая использует LiteRT, XNNPACK и KleidiAI для автоматизации аппаратного ускорения. Результатом является реализация, которая обеспечивает более чем двукратное ускорение генерации аудио и четырехкратное уменьшение использования памяти при сохранении высокого качества аудио на мобильных устройствах и ноутбуках на базе Arm.
