Einige Anmerkungen zur Implementierung von Attention-Blöcken in reinem Python + Numpy. Der Fokus liegt hier auf der genauen Implementierung im Code, wobei alle Formen im Laufe des Prozesses erklärt werden. Die Motivation, warum Attention funktioniert, wird hier nicht behandelt - es gibt viele ausgezeichnete Online-Ressourcen, die dies erklären.Mehrere Arbeiten werden erwähnt …