La latencia es un desafío crucial al implementar modelos de lenguaje e IA en producción. Ignorar el rendimiento computacional, centrándose solo en la precisión, es un error. La velocidad, medida en tokens por segundo, se ha vuelto una métrica arquitectónica esencial. Esto se debe a que las aplicaciones críticas necesitan respuestas rápidas, especialmente en finanzas y salud. Optimizar el rendimiento de los modelos también conduce a una menor utilización de GPUs y, por ende, a facturas de nube más bajas. Técnicas como el uso de arquitecturas ligeras, la cuantización y el procesamiento por lotes ayudan a mejorar la velocidad sin sacrificar la precisión. Se presenta un ejemplo práctico en Python para medir la velocidad de los modelos en tokens por segundo. Un objetivo de aproximadamente cien tokens por segundo es una buena referencia para interacciones humanas en tiempo real. Los pasos para optimizar incluyen establecer un benchmark inicial, implementar procesamiento por lotes y evaluar modelos destilados o cuantizados. La comunidad comparte herramientas y librerías para el profiling y benchmarking de modelos de IA.