Amazon SageMaker HyperPod における... ノート

Amazon SageMaker HyperPod におけるサイレントデータ破損の検出と復旧

サイレントデータ破損は、エラーなしに間違った、しかしもっともらしい数値を返すGPUの障害であり、分散学習を静かに汚染します。この記事では、PyTorch DDPループに3つのチェックを追加して、それを検出し、Amazon SageMaker HyperPod上の障害ノードを特定し、ノードを自動回復に引き渡して交換します。
CdXz5zHNQW_IjhAZEfJZ6.png