RSS Google-Entwicklerblog
Folgen
On-Device GenAI in Chrome, Chromebook Plus und Pixel Watch mit LiteRT-LM
Google AI Edge bietet die Werkzeuge, um KI-Funktionen auf Geräten auszuführen, und seine neue LiteRT-LM-Laufzeitumgebung ist ein bedeutender Fortschritt für generative KI. LiteRT-LM ist eine Open-Source-C++-API mit plattformübergreifender Kompatibilität und Hardwarebeschleunigung, die darauf ausgelegt ist, große Sprachmodelle wie Gemma und Gemini Nano effizient auf einer Vielzahl von Hardware auszuführen. Seine wichtigste Innovation ist eine flexible, modulare Architektur, die skalierbar ist, um komplexe, multimodale Funktionen in Chrome und Chromebook Plus zu ermöglichen, während sie gleichzeitig schlank genug für ressourcenbeschränkte Geräte wie die Pixel Watch ist. Diese Vielseitigkeit ermöglicht bereits eine neue Welle von generativer KI auf Geräten und bringt Funktionen wie WebAI und Smart Replies zu den Nutzern.
