Nvidia 的 Switchyard 路由器可在任务执行过程中动态调整 AI 模型,在其自身测试中将任务成本降低至三分之一。
企业在使用常在线 AI 智能体时面临显著权衡:采用前沿模型成本高昂,而定制路由逻辑则需要大量的工程开发与维护。Nvidia 提出了解决方案,发布了 Nemotron 3.5 Lightning——一种面向专用任务的开放混合专家模型,以及 NeMo Switchyard——一个用于智能模型路由的开源库。Lightning 相比同类模型具有更快的输出速度;与 Switchyard 结合后,有望以远低于高端模型的成本实现前沿级别的任务完成。此次发布进入了一个竞争激烈的市场,众多来自中国及 Meta 的开放权重模型不断涌现。Nvidia 的战略强调优化模型与智能路由器的集成系统,而非单一组件。Switchyard 通过提供能够适应智能体状态变化及成本考量的动态路由策略,与现有的开源路由器展开竞争。该库集成了流行的智能体框架和 LLM 网关,促进了其采用。早期测试者报告称,使用 Switchyard 实现了显著的成本降低,同时保持了准确性。Nemotron 3.5 Lightning 专为高容量、专用智能体任务设计,扩展了 Nvidia 的混合 Mamba-Transformer 架构。虽然它并非通用智能的领导者,但在速度 - 准确性基准测试中展现出强劲性能。对企业而言,这标志着向动态、逐步路由的转变,以及在模型层和路由层均具备开源的战略优势。竞争格局正从单纯追求最佳模型,演变为优化从模型到任务匹配的整个系统。