VentureBeat 日本語
フォロー
NvidiaのSwitchyardルーターは、AIモデルをタスクの途中で再編成し、自社テストではタスクコストを3分の1に削減
エンタープライズは、常時稼働AIエージェントにおいて、フロンティアモデルの使用は高コストである一方、カスタムルーティングロジックには extensive なエンジニアリングとメンテナンスが必要となるという、significant なトレードオフに直面しています。Nvidia は、専門タスク向けのオープンな mixture-of-experts モデルである Nemotron 3.5 Lightning と、インテリジェントなモデルルーティングのためのオープンソースライブラリである NeMo Switchyard をリリースすることで、ソリューションを提案しています。Lightning は類似モデルと比較して高速な出力を提供し、Switchyard と組み合わせることで、プレミアムモデルのコストの fraction でフロンティアレベルのタスク完了を実現します。このリリースは、中国やMetaから登場する多数のオープンウェイトモデルとの競争市場に参入します。Nvidia の戦略は、個々のコンポーネントではなく、最適化されたモデルとスマートルーターの両方からなる統合システムを強調しています。Switchyard は、エージェントの状態変化やコスト考慮事項に適応する動的なルーティング戦略を提供することで、既存のオープンソースルーターと競合します。このライブラリは、一般的なエージェントフレームワークやLLMゲートウェイと統合されており、その採用を容易にします。初期テスターは、Switchyard を使用することで substantial なコスト削減と精度の維持を報告しています。Nemotron 3.5 Lightning 自体は、Nvidia のハイブリッド Mamba-Transformer アーキテクチャを拡張した、高ボリュームの専門エージェントタスク向けに設計されています。汎用知能のリーダーではありませんが、Lightning はスピード対精度のベンチマークにおいて strong なパフォーマンスを示しています。エンタープライズにとって、これは動的な、per-step ルーティングへの移行と、モデルとルーティングの両方のレイヤーにおけるオープンソースの戦略的優位性を意味します。競争環境は、単に最高のモデルに焦点を当てることから、モデルとタスクのマッチングのシステム全体を最適化することへと進化しています。