LiteRT-LMによる超高速オンデバイスGenAI
Google AI Edge の LiteRT-LM は、Gemma 4 をクロスプラットフォームのモバイルおよびエッジ環境で実行するための、本番環境で実績のある高度に最適化されたインフラストラクチャを提供します。メモリ効率の高い動的ローディング、最大 2.2 倍の速度向上を実現する Multi-Token Prediction、および Thinking Mode や Constrained Decoding のような高度なオーケストレーションツールを活用することで、オンデバイスでモデルのネイティブなマルチモーダルおよびエージェンティック機能を積極的に解き放ちます。さらに、このエンジンは Android 以外の統合サーフェスを急速に拡大しており、Apple エコシステム向けの新しいネイティブ Swift API と、高性能なサーバーレスブラウザ推論のための WebGPU アクセラレーテッド JavaScript API を導入しています。
