Optimisation de l'utilisation du GPU sur Google Colab

"Je réalisais un projet de vision par ordinateur pour mon master et, comme pour tout entraînement de transformeurs, c'était excessivement long. J'ai envisagé de payer pour Google Colab Pro afin d'utiliser le GPU A100, mais un collègue m'a dit qu'il n'avait pas constaté de grande différence par rapport au GPU T4 gratuit. J'ai découvert qu'avec quelques ajustements du modèle, il est possible d'optimiser l'utilisation du GPU. Je vais expliquer quelques optimisations qui m'ont aidé à accélérer significativement le fine-tuning. Mon projet consistait à détecter la violence dans des vidéos, ce qui nécessite le traitement d'énormes quantités de données numériques. En utilisant l'entraînement en précision mixte, le système décide d'effectuer la plupart des opérations en utilisant la "demi-précision" (FP16), qui utilise moitié moins de mémoire et est plus rapide sur les GPU. Les "connaissances" du modèle (les poids) sont toujours stockées en "pleine précision" (FP32) pour éviter de perdre des détails importants. Ajuster la taille du lot (batch size) permet au GPU de traiter plus de données en parallèle, ce qui permet de mieux utiliser ses ressources. De plus, une taille de lot plus grande fournit une estimation du gradient plus précise et moins bruitée, ce qui conduit à un chemin d'optimisation plus stable."