在边缘设备上运行小型语言模型（SLMs）的真实成本

本文探讨了 2026 年在本地硬件上运行小语言模型（SLMs）的实际局限性。文章认为，内存带宽而非 NPU 是主要瓶颈，同时热节流和有限的 RAM 也构成了额外约束。关键结论是：虽然边缘 AI 在特定工作负载下具有成本效益且可行，但要实现企业级性能，需要超越消费级设备的专用硬件。