Amazon EMR が S3A をデフォルトのコネクタとし... ノート

Amazon EMR が S3A をデフォルトのコネクタとして発表

AWS が、Amazon EMR 上の Apache Hadoop、Apache Spark、および Apache Hive のワークロード向けにパフォーマンスを最適化した新しい Amazon S3 コネクタである Amazon EMR S3A を発表しました。この新しいコネクタは、AWS 固有の最適化によってオープンソースの S3A アーキテクチャを強化し、組織が大規模データをより効率的に処理できるようにします。S3 Express One Zone、S3 Glacier、および AWS Outposts の直接統合サポートにより、EMR S3A は、顧客が AWS のさまざまなストレージオプションを活用して、EMR ワークロードにおけるデータアクセス速度とストレージコストの両方を最適化するのに役立ちます。さらに、EMR S3A コネクタは、オープンソースの S3A を超える高度なセキュリティ機能とパフォーマンス機能を提供します。主な改善点としては、Apache Spark のきめ細かいアクセス制御の組み込みサポート、強化された S3A 認証情報リゾルバー、最適化されたファイル書き込みのための MagicCommitter V2、および列指向ファイル形式向けの高速化された S3 プレフィックスリストなどがあります。これらの拡張機能は、EMR リリース 7.10 以降から利用可能であり、既存のアプリケーションとの互換性を維持しています。Amazon EMR S3A コネクタは、Amazon EMR が利用可能なすべての AWS リージョンで利用可能であり、Amazon EMR リリースバージョン 7.10 以降に事前設定されています。Amazon EMR S3A の詳細については、Amazon EMR のドキュメントをご覧ください。