Jos on yksi tutkimuspaperi, jonka kaikkien on lukittava, se on "Attention Is All You Need". Tämä paperi esitteli Transformer-arkkitehtuurin, GPT:ssä (Generative Pre-trained Transformer) olevan "T":n perustan. Se on melko monimutkainen, joten jos haluat helpomman version kuvituksilla ja yksinkertaisemmalla kielellä, tarkista Jayn työ. ✅ Lyhyt yhteenveto tähän asti Paperi esittelee Transformerin, murroksellisen mallin luonnollisten kielten prosessoinnissa (NLP). Eri kuin perinteiset järjestetty-muotoiset mallit, jotka käyttävät rekurrenttisia neuroverkkoja (RNN) tai konvoluutioverkkoja (CNN), Transformer käyttää itsehuomiomekanismeja käsitelläkseen riippuvuutta sisääntulon ja tuloksen välillä etäisyydestä riippumatta. Tämä arkkitehtuuri mahdollistaa enemmän rinnakkaisuutta koulutuksen aikana, mikä johtaa merkittäviin nopeuttamiseen. Malli saavuttaa valtiotason tulokset eri tehtävissä, erityisesti konekäännöstehtävissä. ✅ Muut tärkeät korostukset 1️⃣ Itsehuomiomekanismi: Tämä mahdollistaa mallin painottaa eri sanojen merkityksen lauseessa, tehden pitkän matkan riippuvuuden tehokkaaseen käsittelemiseen. 2️⃣ Rinnakkaisuus: Transformer-malli käsittelee kaikki sanat samanaikaisesti, mikä vähentää koulutuksen aikaa huomattavasti RNN:iin ja CNN:iin verrattuna. 3️⃣ Suorituskyky: Saavuttaa ylivoimaisen suorituskyvyn konekäännöstehtävissä, asettaen uudet ennätykset esimerkiksi WMT 2014 englanti-saksa- ja englanti-ranska-käännösten tietokilvissä. 🔗 Ref Paper: https://proceedings.neurips.cc/paper_files/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf 🔗 Jay Blog: https://jalammar.github.io/illustrated-transformer/