将 NVIDIA Resiliency Extension (NVRx) 集成到 Amazon EKS 上的 PyTorch FSDP 训练中，以实现检查点 I/O 与训练的并行执行，并在数秒内从 GPU 故障中恢复。本文涵盖异步检查点、进程内重启以及 ft_launcher 作业内重启，基于 H100 在 2 至 8 节点上的基准测试显示，训练效率达 99% 以上，且恢复时间处于秒级。