Amazon SageMaker lanza escalado automático más rápido para modelos de IA generativos

1. Amazon SageMaker ha introducido una nueva capacidad que puede ayudar a reducir el tiempo que tardan los modelos de IA generativos en escalarse automáticamente. 2. La nueva función utiliza métricas subminuto para reducir significativamente la latencia de escalado para los modelos de IA generativos. 3. Esta mejora puede mejorar la responsividad de las aplicaciones de IA generativos mientras la demanda fluctúa. 4. SageMaker ofrece capacidades líderes en la industria para abordar los desafíos de inferencia, incluyendo puntos finales para la inferencia de IA generativos que reducen los costos de implementación y la latencia. 5. La herramienta de optimización de inferencia de SageMaker puede entregar hasta dos veces más rendimiento mientras reduce los costos en aproximadamente un 50% para el rendimiento de IA generativos. 6. La inferencia de SageMaker también ofrece soporte de streaming para LLMs, permitiendo tokens de streaming en tiempo real en lugar de esperar a que se complete toda la respuesta. 7. La inferencia de SageMaker ofrece la capacidad de implementar un solo modelo o varios modelos utilizando componentes de inferencia de SageMaker en el mismo punto final. 8. Se han introducido métricas de escalado automático más rápidas, incluyendo SolicitudesConcurrentesPorModelo y SolicitudesConcurrentesPorCopia, que proporcionan una representación más directa y precisa de la carga en el sistema. 9. Estas métricas permiten un escalado automático significativamente más rápido, reduciendo el tiempo de detección y mejorando el tiempo total de escalado de los modelos de IA generativos. 10. Utilizar estas nuevas métricas puede ayudar a escalonar las implementaciones de LLM de manera más efectiva, proporcionando un rendimiento óptimo y eficiencia en costos mientras la demanda fluctúa.