데이터 메시에서 통합되고 접근 인식 있는 검색 구축

지난 몇 년 동안, 저는 각 엔지니어링 그룹이 이기종 데이터 처리 시스템에서 생성하는 데이터를 소유하는 분산 데이터 플랫폼에서 일해 왔습니다. 우리의 중앙 플랫폼은 데이터 메쉬 모델을 따르며, 각 도메인이 자체 파이프라인과 스토리지를 관리하지만, 통합 시스템 내에서의 검색은 메쉬 전체에서 검색하는 모든 사람에게 원활해야 합니다. 그 목표는 간단하게 들렸지만, 초고가 및 블랙 미공개 제품의 데이터 세트를 호스팅한다는 점을 고려하면 그렇게 간단하지 않았습니다. 우리가 반복적으로 들었던 첫 번째 불만은 다음과 같습니다: