Amazon SageMaker HyperPod가 이제 ... 노트

Amazon SageMaker HyperPod가 이제 AMI 버전 관리 및 자동 패치를 지원합니다.

Amazon SageMaker HyperPod는 이제 클러스터 전반에서 실행되는 Amazon Machine Image(AMI) 버전에 대한 가시성을 제공하며, 워크로드를 중단하지 않고 보안 패치를 자동으로 적용합니다. SageMaker HyperPod는 대규모로 기반 모델을 학습하고 배포하기 위해 특별히 구축된 인프라입니다. 이전에는 클러스터 관리자가 실행 중인 AMI 버전에 대한 통찰력이 제한적이어서 드리프트를 감지하기 어렵고, 보안 패치는 수동적이고 반응적인 프로세스였으며, 이는 여러 날이 걸리는 장기 학습 작업에서 실행하기 어렵고 NVIDIA 드라이버 또는 CUDA와 같은 AMI의 번들 소프트웨어를 변경할 위험이 있었습니다. HyperPod의 이러한 새로운 기능은 수동 패치의 운영 부담을 제거하면서 클러스터를 안전하고 일관되게 유지하는 데 도움이 됩니다.AMI 버전 관리를 통해 시맨틱 버전 관리(major.minor.patch) 형식으로 모든 인스턴스 그룹 및 노드의 정확한 AMI 버전을 확인하고, 버전 드리프트를 신속하게 감지하며, UpdateClusterSoftware API를 사용하여 이전 NVIDIA 드라이버, CUDA 및 기타 소프트웨어 스택을 포함한 이전 버전으로 롤백할 수 있습니다. 자동 패치는 선택적 기능으로, 노드가 유휴 상태가 될 때 역호환되는 보안 패치만 적용하므로 실행 중인 워크로드는 중단되지 않고 NVIDIA 드라이버, CUDA 버전 및 운영 체제 커널과 같은 중요한 AI/ML 패키지는 절대 다른 주요 또는 부 버전으로 업그레이드되지 않습니다. CreateCluster 또는 UpdateCluster API를 통해 활성화할 수 있습니다. 새로운 AMI 지원 정책은 다양한 AMI 버전에 대한 지원 타임라인을 게시하며, 이후 HyperPod는 보안 패치 게시를 중단합니다.AMI 버전 관리와 자동 패치 모두 Amazon EKS에 의해 오케스트레이션되는 HyperPod 클러스터에서 사용할 수 있으며, SageMaker HyperPod가 지원되는 모든 AWS 리전에서 제공됩니다. 자세한 내용은 HyperPod AMI 관리 설명서 및 새로운 HyperPod AMI 지원 정책을 참조하십시오.