Esta guía, con contribuciones de Hossein Sarshar, Ashish Narasimham y Chenyang Li, tiene como objetivo ayudar a los usuarios a servir modelos de lenguaje grande (LLMs) de manera eficiente utilizando vLLM. Servir LLMs requiere cumplir con requisitos estrictos de latencia y rendimiento, lo que hace que la elección del acelerador y la configuración sean cruciales. La guía adopta un enfoque de abajo hacia arriba para seleccionar el mejor acelerador y optimizar la configuración de vLLM para la eficiencia en cuanto a costos. Los requisitos previos incluyen un proyecto de Google Cloud, la CLI de gcloud, familiaridad con Linux y Docker, y una cuenta de Hugging Face con acceso al modelo Gemma 3 27B. Las consideraciones clave para elegir un acelerador involucran el modelo que se está utilizando, su precisión (por ejemplo, bfloat16), características de la carga de trabajo como solicitudes por segundo y longitudes de secuencia, utilización deseada de GPU, tasa de caché de prefijo y requisitos de latencia. Los aceleradores candidatos se identifican a partir de instancias optimizadas para aceleradores de Google Cloud y ofertas de TPU, como g2-standard-48, a2-ultragpu-1g, a3-highgpu-1g, TPU v5e y TPU v6e. Los requisitos de memoria se estiman utilizando una herramienta proporcionada, que calcula la memoria VRAM mínima necesaria según el tamaño del modelo, precisión, longitudes de secuencia y tamaño de lote. La paralelismo de tensores puede ser necesario para modelos que exceden la memoria de un solo acelerador, aunque puede introducir sobrecarga de comunicación que afecta la latencia. La guía detalla la benchmarking y el ajuste finamente lanzando instancias, extrayendo imágenes de Docker de vLLM, actualizando un script de auto-ajuste con parámetros específicos y analizando los resultados para encontrar configuraciones óptimas. El script de auto-ajuste encuentra iterativamente configuraciones estables del servidor vLLM ajustando la utilización de GPU para prevenir errores de memoria insuficiente.