Este post se divide en cinco partes; ellas son: • De un Modelo de Transformador Completo a un Modelo Solo-Decodificador • Construyendo un Modelo Solo-Decodificador • Preparación de Datos para Aprendizaje Auto-Supervisado • Entrenamiento del Modelo • Extensiones El modelo de transformador se originó como un modelo de secuencia a secuencia (seq2seq) que convierte una secuencia de entrada en un vector de contexto, que luego se utiliza para generar una nueva secuencia.