메달리온 아키텍처 101: 무너지지 않는 데이터 파이프라인 구축하기

메달리온 아키텍처는 랄프 킴볼의 데이터 웨어하우징 원리를 기반으로 구축된 현대적인 데이터 엔지니어링 접근 방식입니다. 이 아키텍처는 데이터 처리를 위해 브론즈, 실버, 골드 레이어를 사용합니다. 브론즈 레이어는 원시 데이터를 수집하여 원본 정보를 메타데이터와 함께 보존합니다. 실버 레이어는 원시 데이터를 변환하고 표준화하며 비즈니스 로직을 적용합니다. 골드 레이어는 대시보드와 같은 특정 목적에 최적화된 분석 준비 데이터를 제공합니다. 이 패턴은 데이터 파이프라인을 단순화하여 데이터 품질과 유지 관리성을 향상시킵니다. 핵심 아이디어는 각 레이어 내에서 관심사를 분리하는 것입니다. 초기 예시에서는 안정적인 스키마를 가진 깨끗한 공급업체 데이터를 사용합니다. 브론즈 레이어는 파일 경로, 이름 및 수집된 정보를 포함합니다. 실버 레이어는 데이터를 정리하고 데이터 유형을 변환합니다. 목표는 데이터를 수집하고 데이터 품질과 추적성을 유지하면서 사용할 수 있도록 하는 것입니다. 이 아키텍처는 데이터 파이프라인의 디버깅 및 테스트에 도움이 됩니다.