야후(Yahoo)는 글로벌 미디어 및 기술 기업으로, 고속 분석 워크로드에서 고정된 가상 머신(VM) 구성으로 인해 취약한 데이터 파이프라인 문제를 겪었습니다. 지역 용량 제약이 발생하면 Managed Service for Apache Spark의 클러스터 프로비저닝이 중단되어 중요한 데이터 파이프라인이 지연될 수 있었습니다. 이를 해결하기 위해 야후는 Managed Service for Apache Spark 클러스터에 유연한 VM을 구현했습니다. 이를 통해 시스템은 허용 가능한 VM 형태의 순위 목록을 정의하여 리소스 변동을 자동으로 흡수할 수 있습니다. Auto-Zone 배치를 활성화하면 시스템이 전체 지역에 걸쳐 용량을 검색하여 수동 개입 없이 파이프라인 실행을 유지할 수 있습니다. 이 최적화는 야후의 광범위한 데이터 현대화 여정의 일부로, 온프레미스 빅데이터 환경을 Google Cloud로 마이그레이션하는 과정입니다. 유연한 구성은 선호하는 VM 유형을 사용할 수 없을 때 순위 목록에서 선택하여 클러스터 생성 성공률을 향상시킵니다. 또한 전체 지역에서 용량을 검색하여 지역 리소스 활용도를 개선합니다. 유연한 클러스터를 구성하려면 자동 영역 배치를 활성화하고 VM 형태 간에 코어 및 메모리 대칭을 유지해야 합니다. YARN 및 Spark 리소스 할당과 같은 구성 요소 속성을 조정하는 것도 중요합니다. 야후는 이 유연한 VM 접근 방식을 구현하여 지역 재고 부족으로 인한 클러스터 프로비저닝 실패를 85% 줄이는 데 성공했습니다. 이를 통해 워크로드 실행이 지속되고 방대한 데이터 파이프라인 전반에 걸쳐 다운스트림 처리 지연을 방지할 수 있습니다.