RSS Блог разработчиков Google
Подписаться
Быстрая генеративная ИИ на устройстве с LiteRT-LM
LiteRT-LM от Google AI Edge предоставляет проверенную в производстве, высоко оптимизированную инфраструктуру для запуска Gemma 4 в кроссплатформенных мобильных и периферийных средах. Она активно раскрывает нативные мультимодальные и агентные возможности модели на устройстве, используя эффективную по памяти динамическую загрузку, Multi-Token Prediction для ускорения до 2,2x и передовые инструменты оркестровки, такие как Thinking Mode и Constrained Decoding. Кроме того, движок быстро расширяет свои интеграционные поверхности за пределы Android, представляя новые нативные Swift API для экосистем Apple и JavaScript API с аппаратным ускорением WebGPU для высокопроизводительного серверного вывода в браузере.
