GPUs, wenn Sie sie brauchen: E... Notiz

GPUs, wenn Sie sie brauchen: Einführung von Flex-Start-VMs

Innovationen mit KI erfordern knappe Ressourcen wie GPUs, was zur Entwicklung des Dynamic Workload Scheduler (DWS) und seiner neuen Funktion, Flex-start VMs, geführt hat. Flex-start VMs bieten ein einzigartiges Verbrauchsmodell, das den fairen Zugang zu GPUs für anspruchsvolle Aufgaben priorisiert. Sie sind ideal für zeitgebundene Workloads wie Modell-Fine-Tuning und Batch-Inferenz. Ein wesentlicher Vorteil ist die drastisch verbesserte Ressourcenverfügbarkeit, da Anfragen bis zu zwei Stunden in der Warteschlange verbleiben können. Benutzer profitieren auch von kostengünstigen Preisen mit Rabatten im Vergleich zu Standard-On-Demand-Tarifen. Flex-start VMs können maximal sieben Tage laufen und preemptible Quotas nutzen. Ein neuer Parameter, request-valid-for-duration, ermöglicht es Benutzern, anzugeben, wie lange ihre VM-Anfrage auf Kapazität warten soll. Dies steht im Gegensatz zum bisherigen "fail-fast"-Ansatz, der nicht verfügbare Ressourcen schnell ablehnte. Flex-start VMs bieten direkten API-Zugriff und ermöglichen eine einfache Integration in bestehende Workflows und Scheduler. Benutzer behalten die Kontrolle mit Stopp- und Startfunktionen, und eine konfigurierbare Kündigungsaktion bewahrt VM-Konfigurationen nach Ablauf.
CdXz5zHNQW_RH7eODgorB.png