Nvidias GB200 NVL72 Supercomputer erreicht 2,7-mal schnellere Inferenz auf DeepSeek V2

In Zusammenarbeit mit NVIDIA haben Forscher von SGLang frühe Benchmarks des GB200 (Grace Blackwell) NVL72-Systems veröffentlicht. Diese zeigen einen Anstieg des LLM-Inferenz-Durchsatzes um bis zu 2,7x im Vergleich zum H100 beim DeepSeek-V2 671B-Modell. Von Matt Foster