GPU quand vous en avez besoin ... Note

GPU quand vous en avez besoin : Présentation des VM Flex-start

L'innovation avec l'IA nécessite des ressources rares comme les GPU, ce qui a conduit au développement du Dynamic Workload Scheduler (DWS) et de sa nouvelle fonctionnalité, les VM Flex-start. Les VM Flex-start offrent un modèle de consommation unique, privilégiant un accès équitable aux GPU pour les tâches exigeantes. Elles sont idéales pour les charges de travail limitées dans le temps, telles que le réglage fin des modèles et l'inférence par lots. Un avantage clé est l'amélioration drastique de l'accessibilité des ressources en permettant aux requêtes de se mettre en file d'attente jusqu'à deux heures. Les utilisateurs bénéficient également de tarifs avantageux, avec des remises par rapport aux tarifs standard à la demande. Les VM Flex-start peuvent fonctionner pendant un maximum de sept jours et utilisent un quota préemptible. Un nouveau paramètre, request-valid-for-duration, permet aux utilisateurs de spécifier combien de temps leur demande de VM doit attendre la capacité. Ceci contraste avec l'approche précédente "fail-fast" qui rejetait rapidement les ressources indisponibles. Les VM Flex-start fournissent un accès API direct, permettant une intégration facile dans les flux de travail et les planificateurs existants. Les utilisateurs conservent le contrôle grâce aux fonctionnalités d'arrêt et de démarrage, et une action de terminaison configurable préserve les configurations des VM à l'expiration.
CdXz5zHNQW_RH7eODgorB.png