Génération et visualisation de vecteurs contextuels dans les Transformers

Ce billet est divisé en trois parties, à savoir : • Comprendre les vecteurs de contexte • Visualiser les vecteurs de contexte provenant de différentes couches • Visualiser les schémas d'attention Contrairement aux plongements de mots traditionnels (tels que Word2Vec ou GloVe), qui attribuent un vecteur fixe à chaque mot, indépendamment du contexte, les modèles de transformateur génèrent des représentations dynamiques qui dépendent des mots environnants.