由于人工智能发展对计算能力的日益增长需求，数据处理和 Apache Spark 管道正面临压力，导致可用性受限。Google 的 Apache Spark 托管服务通过提供灵活的虚拟机（Flexible VMs）来解决这一问题，允许集群使用可接受的机器类型排名列表。这种方法确保即使在特定机器类型的容量缺货（即需求超过可用容量）期间，管道仍能保持运行。灵活虚拟机支持多类型混合（multi-family blending），可在不同机器代际和类型之间混合节点；同时支持混合存储，能够动态适应主机类型的磁盘类型，并为所有节点类型提供全面的集群覆盖。成功实施需要仔细对首选机器类型进行排序，以在无需人工干预的情况下降低缺货风险。一个示例分层策略展示了如何为生产管道优先排序机器类型和存储建议。对于遗留工作负载，分层策略有助于过渡到更新、可用性更高的架构。采用现代存储（如 Hyperdisk Balanced）可结合新型实例类型实现最大可用性。关键考量包括确保所有指定机器类型拥有足够的配额，并利用计算灵活承诺使用折扣（Compute flexible Committed Use Discounts）以节省成本。不同机器代际和存储类型之间的性能可能存在差异，因此需要进行工作负载测试。此外，为改善资源可用性，还可采取以下建议：实施 AutoZone、使用更小的机器规格、部署自动伸缩、配置部分集群创建以及建立区域回退机制。通过利用灵活虚拟机和这些策略，用户可以保护 Spark 工作负载免受硬件短缺影响，并确保关键管道持续运行。