RSS Google Developers Blog

LLM 推論を Edge でスリームライン化するための TFLite

XNNPack、TensorFlow LiteのデフォルトのCPU推論エンジンは、パフォーマンスとメモリー管理の向上、プロセス間での協力の許可、ユーザーが対象とするAPIの簡素化のために更新されました。
favicon
developers.googleblog.com
Streamlining LLM Inference at the Edge with TFLite