Amazon EKS의 PyTorch FSDP 트레이닝에 NVIDIA Resiliency Extension (NVRx)을 통합하여 체크포인트 I/O를 트레이닝과 오버랩하고 GPU 장애로부터 몇 초 안에 복구합니다. 이 게시물은 비동기 체크포인팅, 인프로세스 재시작, 그리고 인잡 재시작을 위한 ft_launcher를 다루며, 2~8개의 노드에서 H100 벤치마크를 통해 99% 이상의 트레이닝 효율성과 초 단위 복구를 보여줍니다.