Generando y Visualizando Vectores de Contexto en Transformers

Este post se divide en tres partes; ellas son: • Comprender Vectores de Contexto • Visualizar Vectores de Contexto de Diferentes Capas • Visualizar Patrones de Atención A diferencia de los embeddings de palabras tradicionales (como Word2Vec o GloVe), que asignan un vector fijo a cada palabra independientemente del contexto, los modelos de transformadores generan representaciones dinámicas que dependen de las palabras circundantes.