Влияние генеративного ИИ растет, но для реальной помощи ему необходимо работать на персональных устройствах. Задача заключается во встраивании сложного ИИ в устройства с ограниченным энергопотреблением для частного использования в течение всего дня. Это требует решения проблем производительности, фрагментации оборудования и доверия пользователей. Google представляет Coral NPU, полнофункциональную платформу, разработанную для частных, эффективных устройств с ИИ на периферии. Она предлагает аппаратную архитектуру, ориентированную на ИИ, созданную для сверхнизкого энергопотребления, постоянной работы ИИ, минимизируя расход заряда батареи на носимых устройствах. Coral NPU переворачивает традиционный дизайн чипов, отдавая приоритет ML-матричному движку для эффективного локального вывода. Архитектура использует блоки IP, совместимые с RISC-V, для минимального энергопотребления, достигая 512 GOPS при нескольких милливаттах. Она имеет открытый и расширяемый дизайн с скалярным ядром, векторным исполнительным блоком и матричным исполнительным блоком. Coral NPU обеспечивает унифицированный опыт разработчика с бесшовной интеграцией с современными компиляторами и ML-фреймворками. Платформа оптимизирована как для архитектур на основе энкодеров, так и для небольших трансформерных моделей, с целью внедрения LLM в носимые устройства. Целевые приложения включают контекстную осведомленность, обработку аудио и изображений, а также взаимодействие с пользователем, все с аппаратной защитой конфиденциальности. Coral NPU создает экосистему через партнерства, например, с Synaptics, для создания открытых стандартов для интеллектуальных устройств.