Lemonade 是一个开源的本地 AI 服务器,允许用户在自有硬件上运行 AI 模型,如大语言模型(LLM)和图像生成模型。它提供与 OpenAI 兼容的 API,便于用户轻松从云服务商切换至本地部署。最新版本 v10.3 引入了重大改进,包括大幅缩小桌面应用体积,以及新增 OmniRouter 以实现真正的多模态交互。OmniRouter 通过单一接口统一处理文本、图像等多种模态的请求。Lemonade 支持多种硬件,重点优化了对 AMD GPU 和 NPU(神经网络处理器)的利用。它与多个应用程序集成,提供本地 AI 能力。其可嵌入二进制特性使得将 Lemonade 无缝集成到其他应用中变得简单。与同类方案相比,Lemonade 在 NPU 支持、多模态能力以及 OmniRouter 功能方面表现突出。开发者可通过简单命令轻松安装并使用模型。项目还提供了资源参考和安装指南的快速指引。此外,Lemonade 支持 OpenAI、Anthropic 和 Ollama 等主流 API。
dev.to
Lemonade v10.3: Run Local LLMs, Image Gen, and Speech on Your Own GPU for Free
Create attached notes ...
