En collaboration avec NVIDIA, des chercheurs de SGLang ont publié les premiers benchmarks du système GB200 (Grace Blackwell) NVL72, démontrant une augmentation allant jusqu'à 2,7 fois le débit d'inférence des LLM par rapport au H100 sur le modèle DeepSeek-V2 671B. Par Matt Foster.
infoq.com
Nvidia's GB200 NVL72 Supercomputer Achieves 2.7× Faster Inference on DeepSeek V2
Create attached notes ...
