RSS HackerNoon

TurboSparse Mobile: в 22 раза быстрее вывод Mixtral на PowerInfer-2

Разверните масштабные LLM на мобильных устройствах с TurboSparse-Mixtral-47B. Узнайте, как PowerInfer-2 использует экстремальную разреженность для ускорения в 22,2 раза по сравнению с llama.cpp.
favicon
hackernoon.com
TurboSparse Mobile: 22x Faster Mixtral Inference on PowerInfer-2
Изображение к статье: TurboSparse Mobile: в 22 раза быстрее вывод Mixtral на PowerInfer-2