オンデバイスAIの加速：ArmとGoogleのAIエッジ最適化について
Arm Scalable Matrix Extension 2 (SME2) と Google AI Edge ソフトウェアスタックの統合により、CPU を強力な行列計算アクセラレータに変換することで、高性能なオンデバイス生成 AI が可能になります。Stability AI の「stable-audio-open-small」モデルをケーススタディとして、LiteRT、XNNPACK、および KleidiAI を利用してハードウェアアクセラレーションを自動化する、合理化された「変換、最適化、およびデプロイ」パイプラインの概要を説明します。結果として実装されたものは、オーディオ生成で 2 倍以上の高速化とメモリ使用量で 4 倍の削減を達成し、Arm 搭載のモバイルデバイスおよびラップトップで高音質を維持します。
