Ce poste est divisé en cinq parties ; elles sont : • De un modèle de transformateur complet à un modèle décodeur-seul • Construction d'un modèle décodeur-seul • Préparation des données pour l'apprentissage auto-supervisé • Entraînement du modèle • Extensions Le modèle de transformateur a originellement émergé comme un modèle de séquence à séquence (seq2seq) qui convertit une séquence d'entrée en un vecteur de contexte, qui est ensuite utilisé pour générer une nouvelle séquence.