NvidiaのGB200 NVL72スーパーコンピューターは、DeepSeek V2での推論を2.7倍高速化

NVIDIAと共同で、SGLangの研究者たちはGB200 (Grace Blackwell) NVL72システムの初期ベンチマークを公開しました。DeepSeek-V2 671Bモデルにおいて、H100と比較して最大2.7倍のLLM推論スループットの向上を示しています。 - マット・フォスター