Amazon SageMaker HyperPod は、推論用のモデルキャッシングをサポートするようになりました。これにより、モデルの重みとコンテナイメージがクラスターノードにプリロードされ、ポッドはネットワーク経由でダウンロードするのではなく、ローカル NVMe ストレージから読み取ることができます。モデルキャッシングがコールドスタートを数十分から数秒に短縮する方法、その仕組み、および有効化する方法について説明します。