Amazon SageMaker-inferentie lanceert snellere automatische schaling voor generatieve AI-modellen

1. Amazon SageMaker heeft een nieuwe functionaliteit geïntroduceerd die de tijd kan verkorten die nodig is voor het automatisch schalen van generatieve AI-modellen. 2. De nieuwe functie gebruikt sub-minute metrics om de algehele schaallatentie voor generatieve AI-modellen aanzienlijk te verminderen. 3. Deze verbetering kan de responsiviteit van generatieve AI-toepassingen verbeteren bij fluctuerende vraag. 4. SageMaker biedt leidende capaciteiten om inferentie-uitdagingen aan te pakken, waaronder eindpunten voor generatieve AI-inferentie die implementatiekosten en latentie verminderen. 5. Het SageMaker-inferentie-optimalisatietoolkit kan een tot twee keer hogere doorvoer leveren terwijl de kosten worden verminderd met ongeveer 50% voor generatieve AI-prestaties. 6. SageMaker-inferentie biedt ook streaming-ondersteuning voor LLM's, waardoor streaming-tokens in real-time kunnen worden verwerkt in plaats van te wachten op de volledige reactie. 7. SageMaker-inferentie biedt de mogelijkheid om een enkel model of meerdere modellen te implementeren met SageMaker-inferentiecomponenten op hetzelfde eindpunt. 8. Snellere auto-schaalmetrics zijn geïntroduceerd, waaronder ConcurrentRequestsPerModel en ConcurrentRequestsPerCopy, die een directere en nauwkeurigere weergave geven van de belasting op het systeem. 9. Deze metrics maken een snellere auto-scaling mogelijk, waardoor de detectietijd wordt verkort en de algehele schaaltijd van generatieve AI-modellen wordt verbeterd. 10. Het gebruik van deze nieuwe metrics kan helpen bij het schalen van LLM-implementaties, waardoor optimale prestaties en kostenefficiëntie worden bereikt bij fluctuerende vraag.