Optimisation des modèles Transformers pour les séquences d'entrée de longueur variable

Cet article traite de l'optimisation des performances et de la réduction des coûts de formation et de déploiement de grands modèles d'intelligence artificielle, en se concentrant particulièrement sur l'architecture Transformer et son mécanisme d'attention. Il présente PyTorch NestedTensors, FlashAttention2 et xFormers comme des solutions pour relever le défi des séquences d'entrée de longueur variable. L'article démontre également comment intégrer ces optimisations dans les modèles HuggingFace existants avec un minimum de modifications de code. Un modèle LLM jouet est défini et un jeu de données contenant des séquences de longueurs variables est créé. L'article se termine par une discussion sur PyTorch SDPA avec padding et fournit une configuration d'expérience de référence pour une analyse plus approfondie.