AWS 上のサーバーレスデータレイクは、ストレージ、処理、カタログ、セキュリティ、および活用という 5 つの基本的な柱の上に構築されています。Amazon S3 はコアストレージとして機能し、生のデータと処理済みデータの両方を構造化されたフォルダ階層に保持します。主要な S3 設定には、バージョニング、コスト最適化のためのライフサイクルポリシー、暗号化、およびクロスリージョンレプリケーションが含まれます。AWS Glue は処理エンジンであり、ETL 用の Glue Jobs、中央メタストアとしての Glue Catalog、およびスキーマ検出用の Glue Crawlers を提供します。Amazon Athena は、S3 データに対して標準 SQL を直接使用するサーバーレスクエリサービスを提供し、クエリごとの課金と Glue Catalog とのネイティブ統合を備えています。AWS Lambda は、S3 ファイルのアップロードなどのイベントによってトリガーされ、プロセスを開始するオーケストレーターとして機能します。AWS CDK は、このインフラストラクチャをコードとして定義するために使用され、再現性とバージョン管理を保証します。典型的なデータフローは、S3 raw へのデータ取り込み、S3 通知による Lambda のトリガー、Glue Crawlers によるカタログ化、Glue Jobs による処理、S3 processed への保存、および Athena による分析を含みます。コスト最適化戦略には、Parquet フォーマット、圧縮、インテリジェントパーティショニング、S3 Intelligent-Tiering、およびライフサイクルポリシーの使用が含まれます。セキュリティは、IAM ロール、ポリシー、および S3、Glue、Athena 全体でのエンドツーエンド暗号化を通じて管理されます。次の投稿では、ジョブの最適化、テスト、および CI/CD 統合をカバーする、実践的な AWS Glue の実装に焦点を当てます。