Dieser Beitrag ist in fünf Teile unterteilt; sie sind: • Von einem vollständigen Transformer zu einem Dekoder-Only-Modell • Erstellen eines Dekoder-Only-Modells • Datenbereitung für selbstüberwachtes Lernen • Trainieren des Modells • Erweiterungen Das Transformer-Modell entstand ursprünglich als Sequenz-zu-Sequenz- (seq2seq)-Modell, das eine Eingabesequenz in einen Kontextvektor umwandelt, der dann verwendet wird, um eine neue Sequenz zu generieren.