AWS Machine Learning Blog 한국어 팔로우 Amazon SageMaker HyperPod에서 발생하는 무음 데이터 손상 탐지 및 복구 무음 데이터 손상은 오류 없이 잘못되었지만 그럴듯한 숫자를 반환하는 GPU 결함으로, 분산 학습을 조용히 오염시킵니다. 이 게시물은 PyTorch DDP 루프에 세 가지 검사를 추가하여 이를 감지하고, Amazon SageMaker HyperPod에서 결함 노드를 찾고, 노드를 자동 복구를 위해 교체하도록 넘겨줍니다. Detecting and recovering from silent data corruption on Amazon SageMaker HyperPod aws.amazon.com AWS Machine Learning Blog 한국어 RSS thenote.app