Объединение общедоступных и ча... Заметка

Объединение общедоступных и частных данных: масштабирование графов знаний с помощью Data Commons на Spanner

Проект Data Commons стремится упорядочить информацию мира и сделать ее универсально доступной и полезной, объединяя разрозненные общедоступные наборы данных от более чем 100 авторитетных поставщиков. Data Commons предоставляет графовые базы знаний, которые связывают реальные объекты и их взаимосвязи, содержащие более 400 миллиардов точек данных, структурированных с использованием стандартизированных определений Schema.org. Платформа предлагает инструменты для исследования данных, инструменты MCP и облачные API для доступа и интеграции очищенных наборов данных, что облегчает компаниям сопоставление их внутренних данных с общедоступными справочными данными. Data Commons интегрирует общедоступную информацию из различных областей, включая сельское хозяйство, демографию, экономику, окружающую среду и здравоохранение, открывая мощные сценарии использования, такие как анализ тенденций ВВП страны и отслеживание местного равенства в области здравоохранения. Платформа перешла на собственную графовую модель с Spanner Graph, которая обеспечивает удобство интерфейса, похожего на SQL, и выразительность графов в Spanner, с его высокой доступностью, горизонтальным масштабированием и поддержкой собственного языка запросов к графам ISO/IEC 39075. Приняв многосущностную схему Spanner Graph, Data Commons представляет сущности как узлы, а их доменные связи — как динамические ребра графа, что позволяет выполнять сложные запросы к отношениям непосредственно в базе данных с использованием GQL. Новая архитектура упрощает конвейеры, устраняя необходимость в сложных, предварительно вычисленных индексах, и обеспечивает инкрементальные обновления конкретных наборов данных без необходимости обновления всей базы данных. Data Commons также использует упрощенную реализацию технического стандарта Statistical Data and Metadata eXchange (SDMX), обеспечивая согласованный подход к описанию и обмену статистическими данными вместе с описательной статистической метаинформацией. Обновление платформы Data Commons добавляет поддержку технического стандарта SDMX версии 3.0, обеспечивая интеграцию "из коробки" со сторонними инструментами для многомерных наборов данных. Объединяя общедоступный граф знаний и частный граф знаний, содержащий их собственные данные, пользователи могут реализовать захватывающие новые сценарии использования, сохраняя при этом изоляцию данных и гарантируя отсутствие дублирования данных.
CdXz5zHNQW_8FZTNms1zk.png