생성형 AI의 영향력이 커지고 있지만, 진정한 도움을 위해서는 개인 기기에서 실행되어야 합니다. 문제는 복잡한 AI를 전력 제약이 있는 엣지 기기에 탑재하여 개인적이고 하루 종일 사용할 수 있도록 하는 것입니다. 이를 위해서는 성능 격차, 하드웨어 파편화, 사용자 신뢰 문제를 해결해야 합니다. 구글은 개인적이고 효율적인 엣지 AI 기기를 위해 설계된 풀 스택 플랫폼인 Coral NPU를 소개합니다. 이 플랫폼은 초저전력, 상시 작동 AI를 위해 구축된 AI 우선 하드웨어 아키텍처를 제공하여 웨어러블 기기의 배터리 소모를 최소화합니다. Coral NPU는 효율적인 온디바이스 추론을 위해 ML 매트릭스 엔진을 우선시함으로써 기존 칩 설계를 뒤집습니다. 이 아키텍처는 최소한의 전력 소비를 위해 RISC-V 호환 IP 블록을 사용하며, 몇 밀리와트에서 512 GOPS를 달성합니다. 스칼라 코어, 벡터 실행 유닛, 매트릭스 실행 유닛을 갖춘 개방적이고 확장 가능한 설계를 특징으로 합니다. Coral NPU는 최신 컴파일러 및 ML 프레임워크와의 원활한 통합을 통해 통합된 개발자 경험을 제공합니다. 이 플랫폼은 인코더 기반 아키텍처와 소형 변환기 모델 모두에 최적화되어 있으며, LLM을 웨어러블 기기에 도입하는 것을 목표로 합니다. 목표 애플리케이션에는 상황 인식, 오디오 및 이미지 처리, 사용자 상호 작용 등이 있으며, 모두 하드웨어 기반 개인 정보 보호를 통해 이루어집니다. Coral NPU는 Synaptics와 같은 파트너십을 통해 지능형 기기를 위한 개방형 표준을 만들기 위해 생태계를 구축하고 있습니다.