XNNPack, стандартный движок вывода TensorFlow Lite для CPU, был обновлен для улучшения производительности и управления памятью, позволяет работать между процессами и упрощает пользовательский API.
developers.googleblog.com
Streamlining LLM Inference at the Edge with TFLite
