AWS Machine Learning Blog 中文 关注 在 Amazon SageMaker HyperPod 上检测并恢复静默数据损坏 “静默数据损坏”是一种 GPU 故障,其返回错误但看似合理的数值且无报错,从而悄无声息地污染分布式训练。本文在 PyTorch DDP 循环中增加三项检查,以检测该故障、定位 Amazon SageMaker HyperPod 上的故障节点,并将该节点移交至自动恢复流程进行替换。 Detecting and recovering from silent data corruption on Amazon SageMaker HyperPod aws.amazon.com AWS Machine Learning Blog 中文 RSS thenote.app