Ce guide décrit une approche systématique pour sélectionner l'accélérateur optimal et configurer vLLM pour une mise en service efficace de modèles de langage grandeur nature (LLM). Il souligne queaucune configuration unique n'est idéale pour tous les cas d'utilisation de l'inférence LLM. Le processus commence par recueillir des informations essentielles sur votre charge de travail spécifique, notamment le modèle utilisé, sa précision, le volume de requêtes attendu et les longueurs de séquence.La compréhension des caractéristiques de la charge de travail est vitale pour déterminer les exigences de VRAM et la nécessité de parallélisme de tenseur. Le guide explique comment estimer les besoins minimum de VRAM, en prenant en compte les poids du modèle, les activations et le cache KV. Il examine ensuite les différentes options de GPU et de TPU disponibles sur Google Cloud, telles que les GPU L4, A100, H100 et les TPU v5e et v6e.Le parallélisme de tenseur, qui distribue les modèles sur plusieurs accélérateurs, est expliqué comme un moyen de gérer les modèles de grande taille, mais peut introduire une surcharge de communication affectant la latence. Le guide passe ensuite à la mise à l'échelle et à la mise au point, en utilisant un script auto_tune.sh pour tester différentes configurations. Ce script trouve automatiquement l'utilisation du GPU la plus élevée et stable et teste différentes tailles de séquence et de lot.Des conseils de dépannage sont fournis pour les problèmes potentiels tels que les erreurs de mémoire CUDA ou les plantages de profilage. L'objectif est d'identifier le meilleur point de performance-prix en évaluant la latence et le débit sur les accélérateurs candidats. En fin de compte, le guide permet aux utilisateurs de prendre des décisions éclairées pour des déploiements LLM à la fois économiques et performants.