Erzeugen und Visualisieren von Kontextvektoren in Transformers

Dieser Beitrag ist in drei Teile gegliedert, und zwar: • Kontextvektoren verstehen • Kontextvektoren aus verschiedenen Schichten visualisieren • Aufmerksamkeitsmuster visualisieren Im Gegensatz zu traditionellen Wort-Einbettungen (wie Word2Vec oder GloVe), die jedem Wort einen festen Vektor unabhängig vom Kontext zuweisen, generieren Transformer-Modelle dynamische Darstellungen, die von den umliegenden Wörtern abhängen.