넷플릭스의 현대 데이터 스택의 누락된 부분을 채우는 솔... 노트

넷플릭스의 현대 데이터 스택의 누락된 부분을 채우는 솔루션으로서의 DataJunction

Netflix는 특히 실험 플랫폼 내에서 분산되고 일관성 없이 정의되며 신뢰할 수 없는 측정 항목으로 인해 어려움을 겪었습니다. 이러한 복잡성은 데이터 과학자와 분석 엔지니어에게 장애가 되었고, 이전 시스템을 통해 측정 항목 온보딩에 몇 주가 소요되었습니다. 이를 해결하기 위해 Netflix는 시맨틱 레이어 솔루션을 탐색했으며, 강력한 SQL 파싱 및 생성 엔진과 그래프 기반 메타데이터 저장 기능으로 인해 DataJunction을 선택했습니다. DataJunction은 측정 항목 이식성 문제를 해결하기 위해 Facebook에서 시작되었으며, 나중에 Netflix 엔지니어에 의해 오픈 소스화되고 확장되었습니다. 주요 아키텍처 결정은 SQL 입력 및 출력 기능을 갖춘 견고한 시맨틱 레이어 엔진과 API에 중점을 둔 API 우선 접근 방식을 우선시하는 것이었습니다. 이 플랫폼은 익숙한 사용자 인터페이스와 효율적인 데이터 전달을 위해 다차원 큐브를 최우선 기능으로 채택했습니다. DataJunction은 측정 항목 정의를 소스에 다시 연결하는 기능을 통해 문제 해결 및 임시 분석을 간소화합니다. 이 플랫폼의 Netflix 실험 도메인 통합은 측정 항목 및 차원 정의 및 관리를 간소화했습니다. 향후 계획에는 다른 도구와의 통합 강화 구축을 통해 Netflix의 일반 분석을 통합하는 것이 포함됩니다. 이를 통해 Netflix 데이터 스택 전반에 걸쳐 측정 항목을 더 쉽게 검색, 사용 및 실험할 수 있습니다.
CdXz5zHNQW_l7K4dKBoxE.png