RSS Блог разработчиков Google
Подписаться
Генеративный ИИ на устройстве в Chrome, Chromebook Plus и Pixel Watch с LiteRT-LM
Google AI Edge предоставляет инструменты для запуска функций ИИ на устройстве, а его новый рантайм LiteRT-LM является значительным шагом вперед для генеративного ИИ. LiteRT-LM — это кроссплатформенный API на C++ с открытым исходным кодом и аппаратным ускорением, разработанный для эффективного запуска больших языковых моделей, таких как Gemma и Gemini Nano, на широком спектре оборудования. Его ключевая инновация — гибкая, модульная архитектура, которая может масштабироваться для обеспечения сложных многозадачных функций в Chrome и Chromebook Plus, а также быть достаточно компактной для устройств с ограниченными ресурсами, таких как Pixel Watch. Эта универсальность уже позволяет использовать новую волну генеративного ИИ на устройстве, предоставляя пользователям такие возможности, как WebAI и умные ответы.
