Этот пост разделен на пять частей; они следующие: • От полного трансформера к модели только декодера • Создание модели только декодера • Подготовка данных для самообучения • Обучение модели • Расширения Модель трансформера возникла как модель последовательность-к-последовательности (seq2seq), которая преобразует входную последовательность в контекстный вектор, который затем используется для генерации новой последовательности.