学習ノート 4.1.2: dbt とは何か

dbt（Data Build Tool）は、データエンジニアリングのための変換ワークフローであり、ユーザーがSQLまたはPythonを使用して分析コードを書き込んで展開できるようにする。複数のソースからの生データを分析のための有意義な形式に変換する。企業には、バックエンドシステム、フロントエンドの使用状況データ、サードパーティプロバイダーなどの複数のデータソースがあり、これらはさらに処理するためにデータウェアハウスにロードされる。dbtはデータウェアハウスの上に位置し、生データをビジネスに利用可能なインサイトに変換し、BIツールやマシンラーニングワークフローとの統合をサポートする。dbtは、SQL/Pythonベースのデータ変換を容易にし、テスト、ドキュメント、バージョン管理を通じてデータ品質を確保し、複雑なデータ操作を自動化する。変換プロセスは、SQL/Python変換スクリプトの書き込み、dbtの実行による変換のコンパイルと実行、データウェアハウス内のビューまたはテーブルへの変換データの保存を含むデータモデリング技術に従う。dbtは、バージョン管理、モジュール性、CI/CD、DRY原則、開発環境、テストおよびドキュメントフレームワークなどのモダンなソフトウェア開発のベストプラクティスを取り入れている。dbt Coreは、コマンドラインツールとして利用可能なオープンソースの無料ツールであり、dbt Cloudは、WebベースのIDEやクラウドベースのオーケストレーションなどの追加機能を備えたSaaSバージョンである。プロジェクトでdbtを設定するには、ユーザーはBigQueryでdbt Cloudを使用するか、PostgreSQLでdbt Coreを使用するかを選択できる。コースプロジェクトでは、dbtがBigQueryとどのように統合し、ビジネスアプリケーション向けのデータ変換を可能にするかを示す。