AWS Machine Learning Blog 日本語 フォロー Amazon SageMaker HyperPod におけるサイレントデータ破損の検出と復旧 サイレントデータ破損は、エラーなしに間違った、しかしもっともらしい数値を返すGPUの障害であり、分散学習を静かに汚染します。この記事では、PyTorch DDPループに3つのチェックを追加して、それを検出し、Amazon SageMaker HyperPod上の障害ノードを特定し、ノードを自動回復に引き渡して交換します。 Detecting and recovering from silent data corruption on Amazon SageMaker HyperPod aws.amazon.com AWS Machine Learning Blog 日本語 RSS thenote.app