Освоение Edge AI на Raspberry ... Заметка

Освоение Edge AI на Raspberry Pi с LiteRT и Gemma

Развертывание безопасного ИИ на периферии в реальном времени на Raspberry Pi теперь упрощено с использованием LiteRT и легковесных открытых моделей Gemma. LiteRT оптимизирует производительность ЦП и ГП, обеспечивая высокую скорость обработки токенов для таких моделей, как Gemma4, что позволяет осуществлять локальные рассуждения в реальном времени для робототехники. Разработчики могут быстро конвертировать, квантовать и запускать эти модели с помощью легковесного инструмента командной строки LiteRT. Скоро также появится поддержка ускорителей ИИ Hailo.