AWS Machine Learning Blog на русском
Подписаться
Обнаружение и восстановление после скрытых повреждений данных на Amazon SageMaker HyperPod
Тихое повреждение данных — это сбой GPU, который возвращает неправильные, но правдоподобные числа без ошибок, незаметно отравляя распределенное обучение. В этой статье добавлены три проверки в цикл PyTorch DDP для его обнаружения, локализации неисправного узла на Amazon SageMaker HyperPod и передачи узла для автоматического восстановления с заменой.