亚马逊EMR宣布S3A作为默认连接器。
AWS 宣布推出 Amazon EMR S3A,这是一个新的 Amazon S3 连接器,优化了 Amazon EMR 上 Apache Hadoop、Apache Spark 和 Apache Hive 工作负载的性能。这个新的连接器通过 AWS 专属优化增强了开源 S3A 架构,帮助组织更有效地处理大规模数据。通过直接集成支持 S3 Express One Zone、S3 Glacier 和 AWS Outposts,EMR S3A 帮助客户利用 AWS 中的不同存储选项,优化其 EMR 工作负载的数据访问速度和存储成本。此外,EMR S3A 连接器还提供高级安全功能和性能能力,超越了开源 S3A。关键改进包括 Apache Spark 内置的细粒度访问控制支持、增强的 S3A 凭证解析器、用于优化文件写入的 MagicCommitter V2,以及针对列式文件格式的加速 S3 前缀列表。这些增强功能从 EMR 7.10 版本开始提供,并保持与现有应用程序的兼容性。Amazon EMR S3A 连接器可在所有提供 Amazon EMR 的 AWS 区域中使用,并预先配置了 Amazon EMR 7.10 及更高版本。要了解有关 Amazon EMR S3A 的更多信息,请参阅 Amazon EMR 文档。