Yahoo 如何利用托管 Apache Spark 服务中的... 笔记

Yahoo 如何利用托管 Apache Spark 服务中的灵活虚拟机优化资源

Yahoo 作为一家全球媒体和技术公司,在其高速分析工作负载中因虚拟机(VM)配置固定而面临数据管道脆弱性的挑战。当出现区域容量限制时,Managed Service for Apache Spark 中的集群供应可能停滞,导致关键数据管道延迟。为解决这一问题,Yahoo 在其 Managed Service for Apache Spark 集群中实施了灵活虚拟机。该系统通过定义可接受的虚拟机规格的排名列表,能够自动吸收资源波动。启用自动跨可用区(Auto-Zone)放置功能,有助于系统在整区域内搜索容量,从而在无需人工干预的情况下维持管道执行。此项优化是 Yahoo 更广泛的数据现代化进程的一部分,即将本地部署的大数据资产迁移至 Google Cloud。灵活配置通过在选择首选虚拟机类型不可用时从排名列表中选取,提升了集群创建成功率;同时通过在整个区域内搜索容量,提高了区域资源利用率。配置灵活集群需要启用自动跨可用区放置,并确保不同虚拟机规格之间的核心数和内存对称性。此外,还需对齐 YARN 和 Spark 等资源分配等组件属性。通过实施这一灵活虚拟机方法,Yahoo 成功将因区域库存短缺导致的集群供应失败率降低了 85%。这确保了工作负载的连续执行,并防止了其大规模数据管道中的下游处理延迟。