에어비앤비의 테크 스택의 일부인 Riverbed는 시스템 레코드 스토어에서 데이터 소비를 최적화하여 읽기 최적화 스토어를 업데이트합니다. 람다 아키텍처를 사용하여 스트리밍 및 배치 구성 요소를 구현합니다. 스트리밍 측면에서는 변경 데이터 캡처(CDC) 이벤트에서 물질화된 뷰를 구성하는 데 중점을 두고 있습니다.알림 파이프라인은 알림 이벤트를 소비하고 의존 데이터 소스를 쿼리하여 물질화된 뷰를 구축하고, 싱크 스토어에 씁니다. 조인 연산은 DAG와 같은 구조를 사용하여 데이터 소스를 효율적으로 조인하고, 메타데이터에 대한 JoinConditionsDag 및 결과 저장에 대한 JoinResultsDag를 활용합니다. 스티치 연산은 조인된 결과를 사용 가능한 모델인 StitchModel로 변환합니다. Riverbed는 Apache Hive 및 Kafka를 포함하여 여러 싱크를 지원하여 유연성을 제공합니다.스트리밍 시스템은 CDC 이벤트에서 물질화된 뷰를 효율적으로 업데이트하여 확장성, 효율적인 데이터 가져오기 및 향상된 필터링 및 검색 기능을 가능하게 합니다. 다음 블로그 포스트에서 논의되는 소스 파이프라인은 동시성 및 버전 관리에 중요한 역할을 합니다. DAG 기반 데이터 구조를 활용하여 Riverbed는 스트리밍 데이터 조인을 최적화하여 메모리 사용량을 줄이고 효율성을 개선합니다.