Pythonエンジニアのための軽量ビッグデータ・スタック

著者は、Pythonベースの技術であるFlask、Apache Airflow、DuckDBを使用して、データエンジニアリングの分野での考え方と経験を共有することを楽しみにしている。データエンジニアリングは、大量のデータを収集、保存、処理するためのアーキテクチャ、パイプライン、システムを構築および維持することを中心としたクリティカルな分野である。データエンジニアは、データを適切に収集、クリーニング、構造化し、時間的に適切に提供することを責務としており、データベース、分散システム、スクリプト、ワークフローオーケストレーションツールに関する深い理解が必要である。ETL（Extract、Transform、Load）およびELT（Extract、Load、Transform）パイプラインは、データエンジニアリングの中心的なタスクであり、ELTはクラウドネイティブデータウェアハウスの台頭と共に人気を博している。データレイク、例えばIBM Cloud Object Storageは、スケールアップで構造化、半構造化、非構造化データを中央リポジトリに保存し、スキーマオンリードをサポートし、探索やモデリングのための柔軟性を提供する。著者は、Pandas、SQL、Parquet、DuckDB、PyArrowなどのツールがデータエンジニアリングにおいて強力なスイートを形成していると強調し、ローカルおよびスケーラブルなデータ処理をサポートしている。DuckDBは、特にParquet形式での大規模データ処理において、ModinやVaexよりも適切な選択肢であり、ディスク上でのクエリー処理の効率性により、メモリーにフルデータセットをロードする必要がない。著者は、NYC Yellow Taxi Trip Data datasetを使用して、DuckDBを使用したトリップの期間、距離バケットごとの平均運賃、ベンダー別の収入の計算の例を提供している。Apache Airflowは、パイプラインのオーケストレーションに使用され、エンジニアがPythonを使用してワークフローを定義することを可能にし、タスクの依存関係、スケジューリング、リトライ、ログ、警告をサポートしている。データエンジニアリングは、モダンアナリティクスおよびAIシステムの基盤であり、ソフトウェアエンジニアリング、データモデリング、システムデザインのスキルをミックスすることを要求している。