Des LLM aux générations d'images : Accélérez les charges d'inférence avec l'Hyperordinateur IA

Google Cloud est à la pointe de l'inference d'IA avec son hyper-ordinateur d'IA, qui est critique pour mettre à l'échelle les applications d'IA génératives. L'entreprise a apporté des mises à jour importantes à ses capacités d'inference, notamment l'introduction d'Ironwood, une unité de traitement de tenseurs (TPU) conçue spécifiquement pour l'inference. Le moteur d'inference JetStream de Google a été renforcé avec de nouvelles optimisations de rendement, notamment Pathways pour une latence ultra-faible multi-hôte, service dégroupé. MaxDiffusion, une implémentation de référence de modèles de diffusion latente, livre des résultats exceptionnels sur les TPU pour les charges de travail de génération d'images intensives en calcul et prend désormais en charge l'un des plus grands modèles de génération d'images texte-à-image, Flux. Les derniers résultats de performance d'inférence MLPerf v5.0 démontrent le pouvoir et la polyvalence des machines virtuelles A3 Ultra et A4 pour l'inference. Google Cloud offre plus de choix lors de la mise en service des modèles de langage (LLM) sur TPU, en améliorant encore et en ajoutant la prise en charge de vLLM pour TPU. JetStream est un moteur d'inference open-source, optimisé pour le débit et la mémoire, qui livre des performances exceptionnelles avec un prix compétitif, une faible latence et un débit élevé, ainsi que le soutien de la communauté. L'hyper-ordinateur d'IA de Google Cloud permet des percées en IA avec des frameworks logiciels intégrés et des accélérateurs matériels. Les clients tels que Osmos et JetBrains utilisent les instances TPU et GPU de Google Cloud pour maximiser l'efficacité coût pour l'inference à grande échelle.