Взвешенный взгляд на распределенное обучение: от DDP и FSDP до промежуточных этапов ZeRO, и почему соединение между вашими GPU имеет такое же значение, как и выбранная вами стратегия.