Интегрируйте расширение устойчивости NVIDIA (NVRx) в обучение PyTorch FSDP на Amazon EKS для перекрытия ввода-вывода контрольных точек с обучением и восстановления после сбоев GPU за секунды. В этой статье рассматриваются асинхронное сохранение контрольных точек, перезапуск в процессе и перезапуск задания с помощью ft_launcher, а также тесты H100 на 2–8 узлах, демонстрирующие эффективность обучения более 99% и восстановление за секунды.