RSS Блог разработчиков Google

Оптимизация вывода LLM на периферии с помощью TFLite

XNNPack, стандартный движок вывода TensorFlow Lite для CPU, был обновлен для улучшения производительности и управления памятью, позволяет работать между процессами и упрощает пользовательский API.
favicon
developers.googleblog.com
Streamlining LLM Inference at the Edge with TFLite