Amazon SageMaker lance un auto-scaling accéléré pour les modèles d'IA générative

1. Amazon SageMaker a introduit une nouvelle capacité qui peut aider à réduire le temps que prennent les modèles d'IA générative pour se mettre à l'échelle automatiquement. 2. La nouvelle fonctionnalité utilise des métriques sub-minute pour réduire significativement la latence de mise à l'échelle pour les modèles d'IA générative. 3. Cette amélioration peut améliorer la réactivité des applications d'IA générative alors que la demande fluctue. 4. SageMaker offre des capacités de pointe pour relever les défis de l'inférence, notamment des points de terminaison pour l'inférence d'IA générative qui réduisent les coûts de déploiement et la latence. 5. L'outil d'optimisation de l'inférence SageMaker peut offrir jusqu'à deux fois plus de débit tout en réduisant les coûts d'environ 50% pour les performances d'IA générative. 6. L'inférence SageMaker offre également une prise en charge de la diffusion pour les LLM, permettant la diffusion de jetons en temps réel au lieu d'attendre la réponse complète. 7. L'inférence SageMaker permet de déployer un seul modèle ou plusieurs modèles en utilisant des composants d'inférence SageMaker sur le même point de terminaison. 8. Des métriques de mise à l'échelle plus rapides ont été introduites, notamment ConcurrentRequestsPerModel et ConcurrentRequestsPerCopy, qui offrent une représentation plus directe et précise de la charge sur le système. 9. Ces métriques permettent une mise à l'échelle plus rapide, réduisant le temps de détection et améliorant le temps global de mise à l'échelle des modèles d'IA générative. 10. L'utilisation de ces nouvelles métriques peut aider à ajuster les déploiements de LLM de manière plus efficace, offrant des performances optimales et une efficacité coût au moment où la demande fluctue.