在 Amazon SageMaker HyperPod 上检... 笔记

在 Amazon SageMaker HyperPod 上检测并恢复静默数据损坏

“静默数据损坏”是一种 GPU 故障,其返回错误但看似合理的数值且无报错,从而悄无声息地污染分布式训练。本文在 PyTorch DDP 循环中增加三项检查,以检测该故障、定位 Amazon SageMaker HyperPod 上的故障节点,并将该节点移交至自动恢复流程进行替换。
CdXz5zHNQW_IjhAZEfJZ6.png