Обучите свою большую модель на нескольких графических процессорах с использованием конвейерного параллелизма

Эта статья разделена на шесть частей, а именно: • Обзор конвейерного параллелизма • Подготовка модели для конвейерного параллелизма • Расписание этапов и конвейера • Цикл обучения • Распределенное контрольное сохранение • Ограничения конвейерного параллелизма Конвейерный параллелизм означает создание модели в виде конвейера этапов.