Baseten, un proveedor de infraestructura de IA, ha logrado mejoras significativas en la relación costo-rendimiento para la inferencia de IA. Al utilizar las máquinas virtuales A4 de Google Cloud con hardware NVIDIA Blackwell y su Planificador Dinámico de Cargas de Trabajo, Baseten ofrece una eficiencia mejorada. Este avance permite a las empresas implementar modelos de IA avanzados en producción de manera asequible, haciendo posibles nuevas aplicaciones. La inferencia, el proceso de ejecutar modelos de IA, es crucial para la IA empresarial y se ha convertido en un cuello de botella debido a las crecientes demandas de cómputo. Baseten aborda esto ofreciendo una plataforma de inferencia escalable para varios modelos propietarios y de código abierto, priorizando el rendimiento y el costo. Su estrategia implica optimizar hardware de vanguardia con una sofisticada pila de software abierto. Esto incluye el uso de GPUs NVIDIA y marcos avanzados como NVIDIA Dynamo y TensorRT-LLM. Las optimizaciones de software de Baseten aumentan el rendimiento y reducen la latencia, posicionándolos como un actor principal. Además, su infraestructura global y el uso del Planificador Dinámico de Cargas de Trabajo de Google Cloud garantizan alta disponibilidad y redundancia. Esta poderosa combinación de hardware y software desbloquea nuevas aplicaciones de IA en diversas industrias a una escala y eficiencia de costos sin precedentes.