Studiennotizen 4.1.2: Was ist dbt?

dbt (Data Build Tool) ist ein Transformations-Workflow, der für Data Engineering verwendet wird und es Benutzern ermöglicht, analytischen Code mit SQL oder Python zu schreiben und zu deployen. Es transformiert Rohdaten aus mehreren Quellen in sinnvolle Formate für die Analyse. Unternehmen haben mehrere Datenquellen, einschließlich Backendsystemen, Frontend-Nutzungsdaten und Drittanbieter-Providern, die in ein Data Warehouse geladen werden, um weiterverarbeitet zu werden. dbt sitzt auf dem Data Warehouse und wandelt Rohdaten in geschäftsbereite Erkenntnisse um und unterstützt die Integration mit BI-Tools und Machine-Learning-Workflows. dbt erleichtert SQL/Python-basierte Daten-Transformation, automatisiert komplexe Datenoperationen und stellt die Datenqualität durch Tests, Dokumentation und Versionskontrolle sicher. Der Transformationsprozess folgt Datenmodellierungstechniken, die das Schreiben von SQL/Python-Transformations-Skripten, das Ausführen von dbt zum Kompilieren und Ausführen von Transformationen und das Speichern von transformierten Daten als Ansichten oder Tabellen im Data Warehouse beinhalten. dbt integriert moderne Software-Entwicklungs-Praktiken, einschließlich Versionskontrolle, Modularität, CI/CD, DRY-Prinzipien, Entwicklungsumgebungen und Test- und Dokumentations-Frameworks. dbt Core ist ein Open-Source-, kostenlos zu verwendendes Kommandozeilen-Tool, während dbt Cloud eine SaaS-Version mit zusätzlichen Funktionen ist, einschließlich einer web-basierten IDE und cloud-basierter Orchestrierung. Um dbt für ein Projekt einzurichten, können Benutzer zwischen der Verwendung von dbt Cloud mit BigQuery oder dbt Core mit PostgreSQL wählen. Das Kursprojekt zeigt, wie dbt mit BigQuery integriert wird und Daten-Transformation für Geschäftsanwendungen ermöglicht.