この投稿は5つのパートに分かれています。以下の通りです。 • フルTransformerからDecoderのみのモデルへ • Decoderのみのモデルの構築 • 自己教師あり学習のためのデータ準備 • モデルのトレーニング • 拡張 Transformerモデルは、入力シーケンスをコンテキストベクトルに変換し、それを使用して新しいシーケンスを生成する、シーケンスからシーケンスへの（seq2seq）モデルとして始まりました。