Генерация и визуализация контекстных векторов в трансформерах

Этот пост разделен на три части; они следующие: • Понимание контекстных векторов • Визуализация контекстных векторов из разных слоев • Визуализация паттернов внимания Несмотря на традиционные word embeddings (например, Word2Vec или GloVe), которые присваивают фиксированный вектор каждому слову независимо от контекста, модели трансформеров генерируют динамические представления, которые зависят от окружающих слов.