Создание унифицированного поиска с учетом доступа в сетке данных

За последние несколько лет я работал над платформой распределенных данных, в которой каждая инженерная группа владеет данными, которые она производит из разнородных систем обработки данных. Наша центральная платформа следует модели data mesh, поскольку каждый домен управляет своими собственными конвейерами и хранилищем, но обнаружение в единой системе должно быть бесшовным для всех, кто ищет в сети. Эта цель звучала просто, но на самом деле все было не так просто, учитывая, что мы храним наборы данных из сверхсекретных и засекреченных продуктов. Первая жалоба, которую мы слышали неоднократно: