Amazon SageMaker Inferenz startet schnelleres Auto-Skalieren für generative KI-Modelle

1. Amazon SageMaker hat eine neue Funktion eingeführt, die die Zeit reduzieren kann, die es benötigt, um generative KI-Modelle automatisch zu skalieren. 2. Die neue Funktion verwendet Sub-Minuten-Metriken, um die Skalierungsverzögerung für generative KI-Modelle erheblich zu reduzieren. 3. Diese Verbesserung kann die Reaktionsfähigkeit von generativen KI-Anwendungen verbessern, wenn sich die Nachfrage ändert. 4. SageMaker bietet branchenführende Fähigkeiten, um Inference-Herausforderungen zu lösen, einschließlich Endpunkten für generative KI-Inference, die die Bereitstellungskosten und -verzögerung reduzieren. 5. Das SageMaker-Inference-Optimierungstoolkit kann bis zu doppelt so hohe Durchsatzraten liefern, während es die Kosten um etwa 50% reduziert für die Leistung von generativen KI-Modellen. 6. SageMaker-Inference bietet Streaming-Unterstützung für LLMs, ermöglicht es, Streaming-Token in Echtzeit zu verarbeiten, anstatt auf die gesamte Antwort zu warten. 7. SageMaker-Inference bietet die Möglichkeit, ein einzelnes Modell oder mehrere Modelle mithilfe von SageMaker-Inference-Komponenten auf demselben Endpunkt zu bereitstellen. 8. Schnellere Auto-Skalierungs-Metriken wurden eingeführt, darunter ConcurrentRequestsPerModel und ConcurrentRequestsPerCopy, die eine direktere und genauere Darstellung der Belastung des Systems bieten. 9. Diese Metriken ermöglichen eine erheblich schnellere Auto-Skalierung, reduzieren die Erkennungszeit und verbessern die Skalierungszeit für generative KI-Modelle. 10. Die Verwendung dieser neuen Metriken kann helfen, LLM-Deployments effektiver zu skalieren, um optimale Leistung und Kosteneffizienz zu bieten, wenn sich die Nachfrage ändert.