분산 학습의 이면과 GPU 연결이 전략만큼 중요한 이유 노트

분산 학습의 이면과 GPU 연결이 전략만큼 중요한 이유

DDP와 FSDP부터 그 사이의 ZeRO 단계까지 분산 학습에 대한 측정된 고찰, 그리고 GPU 간의 연결이 전략 선택만큼 중요하다는 점