🤖 100 Gün Generatif AI - Gün 3 - Dikkat Tüm İhtiyacın 🤖

Eğer herkesin okumak zorunda olduğu bir araştırma makalesi varsa, o da 'Dikkat Tüm İhtiyacınız Olan Şeydir.' Bu makale, GPT'de (Jeneratif Önceden Eğitimli Transformer) 'T' harfinin temelini oluşturan Transformer mimarisini tanıttı. Oldukça karmaşık, bu yüzden daha kolay bir versiyonla ilgileniyorsanız, Jay'in yaptığı çalışmayı kontrol edin. ✅ Bu zamana kadar anladığım özet Makale, doğal dil işleme (NLP) alanındaki yenilikçi bir model olan Transformer'ı tanıtıyor. Geleneksel sıralı-sıralı modellerin aksine, Transformer, dizi içindeki bağımlılıkları işlemek için öz-dikkat mekanizmalarını kullanarak girdi ve çıktı arasındaki mesafeye bakmaz. Bu mimari, eğitimin sırasında daha fazla paralelizasyon yapılmasını sağlar, bu da önemli ölçüde hız iyileştirmeleri sağlar. Model, özellikle makine çevirisi görevlerinde, devlet-of-the-art sonuçlar elde etmektedir. ✅ Diğer önemli vurgular 1️⃣ Öz-Dikkat Mekanizması: Bu, modelin cümledeki farklı kelimelerin önemini değerlendirmesini sağlar, uzun menzilli bağımlılıkları verimli bir şekilde yakalar. 2️⃣ Paralelizasyon: Transformer modeli, dizi içindeki tüm kelimeleri eş zamanlı olarak işler, bu da RNN'ler ve CNN'lerle karşılaştırıldığında eğitimin önemli ölçüde hızlanmasını sağlar. 3️⃣ Performans: Makine çevirisi görevlerinde üstün performans gösterir, WMT 2014 İngilizce-Almanca ve İngilizce-Fransızca çevirileri gibi veri kümelerindeki yeni standartları belirler. 🔗 Ref Paper: https://proceedings.neurips.cc/paper_files/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf 🔗 Jay Blog: https://jalammar.github.io/illustrated-transformer/