Конспекты урока 4.1.2: Что такое dbt?

dbt (Data Build Tool) - это инструмент для преобразования данных, используемый в инженерии данных, позволяющий пользователям писать и развертывать аналитический код с помощью SQL или Python. Он преобразует сырые данные из нескольких источников в осмысленные форматы для анализа. Компании имеют множество источников данных, включая бэкенд-системы, данные о использовании frontend и сторонние поставщики, которые загружаются в хранилище данных для дальнейшей обработки. dbt работает поверх хранилища данных, преобразуя сырые данные в бизнес-готовые данные и поддерживая интеграцию с инструментами бизнес-анализа и машинного обучения. dbt обеспечивает преобразование данных на основе SQL/Python, автоматизируя сложные операции с данными и обеспечивая качество данных посредством тестирования, документации и управления версиями. Процесс преобразования данных следует техникам моделирования данных, включающим написание скриптов преобразования SQL/Python, запуск dbt для компиляции и выполнения преобразований и хранение преобразованных данных в виде представлений или таблиц в хранилище данных. dbt включает в себя современные методы разработки программного обеспечения, включая управление версиями, модульность, CI/CD, принципы DRY, среды разработки и тестирования и документационные фреймворки. dbt Core - это бесплатный, открытый исходный код, командная строка инструмент, в то время как dbt Cloud - это версия SaaS с дополнительными функциями, включая веб-ориентированную IDE и облачную оркестрацию. Чтобы настроить dbt для проекта, пользователи могут выбрать между использованием dbt Cloud с BigQuery или dbt Core с PostgreSQL. Проект курса демонстрирует, как dbt интегрируется с BigQuery и обеспечивает преобразование данных для бизнес-приложений.