通过更大的工作节点和针对 Shuffle 优化的磁盘,加速 ... 笔记

通过更大的工作节点和针对 Shuffle 优化的磁盘,加速 EMR Serverless 上的 Spark 处理

Amazon EMR Serverless 现已支持 32 vCPU/244 GB 的 Worker 配置,以满足最苛刻的 Spark 作业需求。在 126 个 TPC-DS 和 TPC-H 查询中,更大的 Worker 实现了平均 29% 的查询执行速度提升和 29% 的成本降低,其中在 Shuffle 密集型、多表连接查询上的收益最为显著。
CdXz5zHNQW_BLd0Y8QO72.png