Линейные слои и функции активации в трансформерных моделях

Этот пост разделен на три части; они следующие: • Почему линейные слои и активации необходимы в трансформерах • Типичный дизайн сети прямого распространения • Вариации функций активации Слой внимания является основной функцией модели трансформера.