Архитектура медальонов: основы построения конвейеров данных, которые не разваливаются

Архитектура медальонов — это современный подход к проектированию данных, основанный на принципах хранилищ данных Ральфа Кимбалла. Она использует слои Bronze, Silver и Gold для обработки данных. Bronze принимает необработанные данные, сохраняя их происхождение с метаданными. Silver преобразует и стандартизирует необработанные данные, применяя бизнес-логику. Gold предоставляет готовые к аналитике наборы данных, оптимизированные для конкретных целей, таких как информационные панели. Этот шаблон упрощает конвейеры данных, улучшая качество данных и удобство обслуживания. Основная идея заключается в разделении задач в отдельных слоях. В первоначальном примере используются чистые данные поставщиков со стабильными схемами. Слои Bronze включают путь к файлу, имя и информацию о приеме. Слой Silver очищает данные, преобразуя типы данных. Цель состоит в том, чтобы принимать данные и делать их доступными, сохраняя при этом качество данных и отслеживаемость. Эта архитектура помогает в отладке и тестировании конвейеров данных.