RSS 해커누

파케트에 대한 모든 것 02 - 파케트의 열 지향 스토리지 모델

열 지향적 저장소는 Apache Parquet에서 사용되는 데이터 저장 모델로, 각 열의 데이터가 별도로 저장되어 빅데이터 분석에서 상당한 이점을 제공합니다. 이 모델은 분석 쿼리, 대규모 데이터 세트 및 데이터 웨어하우스와 관련된 워크로드에 효율적입니다. 열 지향적 저장소는 관련 열만 스캔할 수 있도록 시스템을 허용하여 쿼리 성능을 개선하고, 더 나은 압축을 통해 저장 비용을 줄이고, 집계 및 배치 처리를 효율적으로 수행합니다. Parquet은 행 그룹과 페이지로 데이터를 구성하여 압축 및 읽기 성능을 최적화합니다. 열 지향적 저장소는 읽기 집중적인 분석 워크로드에 적합하지만, 빈번한 업데이트가 필요한 트랜잭셔널 시스템에는 적합하지 않을 수 있습니다. Parquet의 열 지향적 모델은 특정 열을 대상으로 하는 쿼리가 있는 환경에서 빅데이터 분석을 위한 강력한 도구입니다. 다음 블로그 포스트에서는 Parquet의 파일 구조, 즉 페이지, 행 그룹 및 열에 대해 탐색할 것입니다.
favicon
hackernoon.com
All About Parquet Part 02 - Parquet's Columnar Storage Model