Amazon SageMaker HyperPod에서 발생... 노트

Amazon SageMaker HyperPod에서 발생하는 무음 데이터 손상 탐지 및 복구

무음 데이터 손상은 오류 없이 잘못되었지만 그럴듯한 숫자를 반환하는 GPU 결함으로, 분산 학습을 조용히 오염시킵니다. 이 게시물은 PyTorch DDP 루프에 세 가지 검사를 추가하여 이를 감지하고, Amazon SageMaker HyperPod에서 결함 노드를 찾고, 노드를 자동 복구를 위해 교체하도록 넘겨줍니다.
CdXz5zHNQW_IjhAZEfJZ6.png