온디바이스 AI 가속화: Arm과 Google의 AI 엣지 최적화 살펴보기
Arm Scalable Matrix Extension 2 (SME2)와 Google AI Edge 소프트웨어 스택의 통합은 CPU를 강력한 행렬 연산 가속기로 전환하여 고성능의 온디바이스 생성형 AI를 가능하게 합니다. Stability AI의 "stable-audio-open-small" 모델을 사례 연구로 사용하여, LiteRT, XNNPACK, KleidiAI를 활용하여 하드웨어 가속을 자동화하는 간소화된 "변환, 최적화 및 배포" 파이프라인을 개략적으로 설명합니다. 결과적인 구현은 오디오 생성 속도를 2배 이상 향상시키고 메모리 사용량을 4배 줄이는 동시에 Arm 기반 모바일 장치 및 노트북에서 높은 오디오 품질을 유지합니다.
