파이프라인 병렬 처리를 사용하여 여러 GPU에서 대형 모델 훈련하기

이 글은 여섯 부분으로 나뉘어 있습니다; 이들은 다음과 같습니다: • 파이프라인 병렬성 개요 • 파이프라인 병렬성을 위한 모델 준비 • 단계 및 파이프라인 일정 • 훈련 루프 • 분산 체크포인트 • 파이프라인 병렬성의 한계 파이프라인 병렬성은 모델을 단계의 파이프라인으로 만드는 것을 의미합니다.