Извлечение извлечений из данных MySQL в BigQuery за более короткое время

Реляционные базы данных не оптимизированы для аналитических запросов, поэтому их подключение к хранилищам данных дает преимущества. Dataflow Templates позволяет легко подключать MySQL к BigQuery без написания собственного кода или управления инфраструктурой. Конвейеры данных Dataflow подходят для повторяющихся пакетных заданий, которые могут планироваться ежечасно, ежедневно или еженедельно. Для конвейера MySQL-to-BigQuery требуются параметры конфигурации, включая расписание, исходную строку подключения и выходную таблицу BigQuery. Необязательными параметрами являются SQL-запрос, учетные данные для аутентификации и конфигурации, связанные с Dataflow. Экран информации конвейера предоставляет историю выполнения и подробную информацию о задании, в то время как возможности мониторинга Dataflow предлагают график заданий, панель ведения журнала и показатели производительности. Конечным пунктом назначения данных является рабочая область SQL BigQuery. Для непрерывной репликации данных рассмотрите Datastream или шаблон Dataflow изменения данных.