VentureBeat 한국어
팔로우
Nvidia의 Switchyard 라우터, 자체 테스트에서 AI 모델을 작업 중간에 재배치하여 작업 비용을 3분의 1로 절감
기업들은 항상 켜져 있는 AI 에이전트와 관련하여 중대한 상충 관계에 직면해 있습니다. 최첨단 모델을 사용하는 것은 비용이 많이 들고, 맞춤형 라우팅 로직은 광범위한 엔지니어링 및 유지보수를 필요로 합니다. Nvidia는 특수 작업을 위한 오픈 혼합 전문가 모델인 Nemotron 3.5 Lightning과 지능형 모델 라우팅을 위한 오픈 소스 라이브러리인 NeMo Switchyard를 출시하여 해결책을 제시합니다. Lightning은 유사한 모델에 비해 더 빠른 출력을 제공하며, Switchyard와 결합하면 프리미엄 모델 비용의 일부로 최첨단 수준의 작업 완료를 약속합니다. 이 출시는 중국과 Meta에서 등장하는 수많은 오픈 가중치 모델과 경쟁하는 시장에 진입합니다. Nvidia의 전략은 개별 구성 요소보다는 최적화된 모델과 스마트 라우터의 통합 시스템을 강조합니다. Switchyard는 에이전트의 변화하는 상태와 비용 고려 사항에 적응하는 동적 라우팅 전략을 제공함으로써 기존 오픈 소스 라우터와 경쟁합니다. 이 라이브러리는 인기 있는 에이전트 프레임워크 및 LLM 게이트웨이와 통합되어 채택을 용이하게 합니다. 초기 테스터들은 Switchyard를 사용하여 상당한 비용 절감과 정확도 유지를 보고했습니다. Nemotron 3.5 Lightning 자체는 고용량, 특수 에이전트 작업을 위해 설계되었으며 Nvidia의 하이브리드 Mamba-Transformer 아키텍처를 확장합니다. 일반 지능 리더는 아니지만, Lightning은 속도 대 정확도 벤치마크에서 강력한 성능을 보여줍니다. 기업에게 이는 동적이고 단계별 라우팅으로의 전환과 모델 및 라우팅 계층 모두에서 오픈 소스의 전략적 이점을 의미합니다. 경쟁 환경은 단순히 최고의 모델에 집중하는 것에서 모델 대 작업 매칭의 전체 시스템을 최적화하는 방향으로 진화하고 있습니다.