AI 개발로 인한 컴퓨팅 파워 수요 증가는 데이터 처리 및 Apache Spark 파이프라인에 부담을 주어 가용성 제약을 초래하고 있습니다. Google의 Managed Service for Apache Spark는 클러스터가 허용 가능한 머신 패밀리의 순위 목록을 사용하도록 함으로써 유연한 VM을 제공하여 이를 해결합니다. 이 접근 방식은 특정 머신 유형에 대한 수요가 가용 용량을 초과할 때 발생하는 용량 부족 상황에서도 파이프라인이 계속 운영되도록 보장합니다. 유연한 VM은 여러 패밀리 블렌딩을 가능하게 하여 다른 머신 세대 및 유형의 노드를 혼합합니다. 또한 혼합 스토리지를 지원하여 호스트 패밀리의 디스크 유형에 동적으로 적응하고 모든 노드 유형에 대한 포괄적인 클러스터 커버리지를 제공합니다. 성공적인 구현을 위해서는 수동 개입 없이 재고 부족 위험을 완화하기 위해 선호하는 머신 패밀리의 신중한 순위 지정이 필요합니다. 예시 계층화 전략은 프로덕션 파이프라인에 대한 머신 패밀리 및 스토리지 권장 사항의 우선 순위를 지정하는 방법을 보여줍니다. 레거시 워크로드의 경우 계층화된 전략은 더 새롭고 더 가용성이 높은 아키텍처로 전환하는 데 도움이 됩니다. Hyperdisk Balanced와 같은 최신 스토리지를 채택하면 최신 인스턴스 패밀리로 최대 가용성을 확보할 수 있습니다. 주요 고려 사항에는 지정된 모든 머신 유형에 대한 충분한 할당량을 보장하고 비용 절감을 위해 Compute flexible Committed Use Discounts를 활용하는 것이 포함됩니다. 성능은 머신 세대 및 스토리지 유형에 따라 다를 수 있으므로 워크로드 테스트가 필요합니다. 리소스 가용성을 개선하기 위한 추가 권장 사항에는 AutoZone 구현, 더 작은 머신 모양 사용, 자동 확장 배포, 부분 클러스터 생성 구성 및 지역 장애 조치 설정이 포함됩니다. 유연한 VM과 이러한 전략을 활용함으로써 사용자는 하드웨어 부족으로부터 Spark 워크로드를 보호하고 중요한 파이프라인이 계속 실행되도록 할 수 있습니다.