Объяснение Mistral 7B: к более эффективным языковым моделям

Mistral 7B - это мощная и эффективная большая языковая модель, разработанная компанией Mistral AI, парижским стартапом, основанным бывшими сотрудниками Meta и Google DeepMind. Модель использует архитектуру только декодера, которая является распространенной в моделях, предназначенных для задач генерации естественного языка. Она доступна в базовой и инструктивной формах, причем базовая версия аналогична варианту чата и подходит как для разговорных, так и для инструктивных задач. Результаты Mistral 7B сильны по сравнению с более крупными моделями, превосходя Llama 2 13B и соответствуя или превышая Llama 1 34B в большинстве тестов. Эффективность модели достигается за счет достижений в архитектуре трансформеров, включая нормализацию среднего квадратичного значения (RMS Norm), вращающееся позиционное вложение (RoPE), групповое внимание запроса (GQA), скользящее окно внимания (SWA), кэш rolling buffer KV и функцию активации SwiGLU. Эти компоненты будут рассмотрены в деталях в следующих разделах.