Nvidia의 GB200 NVL72 슈퍼컴퓨터, DeepSeek V2에서 2.7배 빠른 추론 속도 달성

엔비디아와의 협력을 통해 SGLang의 연구진은 GB200(그레이스 블랙웰) NVL72 시스템의 초기 벤치마크를 발표했으며, DeepSeek-V2 671B 모델에서 H100과 비교하여 최대 2.7배의 LLM 추론 처리량 증가를 보여주었습니다. - 맷 포스터