Esta guía detalla un enfoque sistemático para seleccionar el acelerador óptimo y configurar vLLM para servir modelos de lenguaje grande (LLM) de manera eficiente. Destaca que no hay un solo conjunto de configuración ideal para todos los casos de uso de inferencia de LLM. El proceso comienza recopilando información crucial sobre su carga de trabajo específica, incluyendo el modelo que se utiliza, su precisión, el volumen de solicitudes esperado y las longitudes de secuencia.Comprender las características de la carga de trabajo es vital para determinar los requisitos de VRAM y la necesidad de paralelismo de tensor. La guía describe cómo estimar el VRAM mínimo necesario, considerando los pesos del modelo, las activaciones y la caché KV. Luego, discute las opciones de GPU y TPU disponibles en Google Cloud, como L4, A100, H100 GPUs y TPU v5e y v6e.El paralelismo de tensor, que distribuye modelos en múltiples aceleradores, se explica como un método para manejar modelos grandes, pero puede introducir sobrecarga de comunicación que afecta la latencia. La guía luego pasa a la benchmarking y ajuste, utilizando un script auto_tune.sh para probar diferentes configuraciones. Este script encuentra automáticamente la utilización de GPU más alta y estable y prueba diferentes tamaños de secuencia y lote.Se proporcionan consejos de solución de problemas para posibles problemas como errores de memoria fuera de CUDA o problemas de perfilado. El objetivo es identificar el mejor punto de precio-rendimiento evaluando la latencia y el rendimiento en los aceleradores candidatos. En última instancia, la guía capacita a los usuarios para tomar decisiones informadas para implementaciones de LLM rentables y de alto rendimiento.