AWS Glue 6.0で宣言型ETLパイプラインを構築する ノート

AWS Glue 6.0で宣言型ETLパイプラインを構築する

AWS Glue 6.0 では、Spark Declarative Pipelines が導入されました。この記事では、オーケストレーションロジックを一切記述することなく、ブロンズ、シルバー、ゴールドのシーケンスを通じて、生の注文レコードを検証済み集計テーブルに変換する、単一の宣言型 AWS Glue 6.0 ジョブを構築します。
CdXz5zHNQW_DEuqvNvinr.png