Transformers: Age of Attention

I 2017 introducerede forskere Transformer-modellen i papiret "Attention is All You Need" og revolutionerede dermed behandlingen af naturligt sprog (NLP). Tidligere modeller som RNN'er og LSTM'er behandlede ord sekventielt, hvilket begrænsede deres evne til at håndtere lange sætninger, sænkede træningen og hindrede parallel behandling. Transformer løste disse problemer ved at bruge selvoppmærksomhed, så modellen kunne fokusere på vigtige ord uanset deres placering i en sætning. Det gjorde Transformer hurtigere og mere skalerbar, især ved at udnytte parallelisering. Det eliminerede behovet for sekventiel ordbehandling og forbedrede forståelsen af komplekse forhold mellem ord. Modellens koder-dekoder-arkitektur behandler effektivt inputsekvenser til output som f.eks. oversættelser. Vigtige funktioner som multi-head-opmærksomhed gør det muligt for modellen at indfange forskellige aspekter af betydning i en sætning på samme tid. Dekoderen genererer oversættelser trin for trin ved kun at fokusere på de foregående ord, hvilket sikrer nøjagtighed. Denne arkitektur er blevet grundlaget for mange avancerede modeller som BERT og GPT, hvilket i høj grad har forbedret ydeevnen i forskellige NLP-opgaver.