Baseten, un fournisseur d'infrastructures d'IA, a réalisé des améliorations significatives en termes de coût-performance pour l'inférence IA. En utilisant les machines virtuelles A4 de Google Cloud équipées du matériel NVIDIA Blackwell et de son Planificateur de Charge de Travail Dynamique, Baseten offre une efficacité accrue. Cette avancée permet aux entreprises de déployer des modèles d'IA avancés en production de manière abordable, ouvrant la voie à de nouvelles applications. L'inférence, le processus d'exécution des modèles d'IA, est cruciale pour l'IA d'entreprise et est devenue un goulot d'étranglement en raison de la demande croissante en puissance de calcul. Baseten y répond en proposant une plateforme d'inférence évolutive pour divers modèles propriétaires et open-source, en mettant l'accent sur la performance et le coût. Leur stratégie implique l'optimisation du matériel de pointe avec une pile logicielle ouverte sophistiquée. Cela inclut l'utilisation des GPU NVIDIA et de frameworks avancés comme NVIDIA Dynamo et TensorRT-LLM. Les optimisations logicielles de Baseten augmentent le débit et réduisent la latence, les positionnant comme un acteur performant. De plus, leur infrastructure mondiale et l'utilisation du Planificateur de Charge de Travail Dynamique de Google Cloud garantissent une haute disponibilité et une redondance. Cette combinaison puissante de matériel et de logiciel permet de débloquer de nouvelles applications d'IA dans tous les secteurs, avec une échelle et une rentabilité sans précédent.