SQL отлично подходит для анализа структурированных данных, но испытывает трудности со сложной процедурной логикой, научными вычислениями и машинным обучением. Python преуспевает в этих задачах. Ранее специалистам по данным приходилось управлять инфраструктурой для запуска пользовательского кода Python. Теперь общедоступны управляемые Python пользовательские функции (UDF) BigQuery, решающие эту проблему. Эта функция позволяет пользователям выполнять пользовательский код Python непосредственно в BigQuery с использованием SQL или BigQuery DataFrames. Эти UDF используют полностью управляемые бессерверные ресурсы, которые автоматически масштабируются. Они предлагают гибкость, предоставляя доступ к обширной экосистеме Python, включая такие библиотеки, как NumPy и scikit-learn. Кроме того, они позволяют интегрироваться в реальном времени с внешними API и сервисами Google Cloud. Продвинутые пользователи могут оптимизировать производительность с помощью векторизованной обработки с Pandas PyArrow, настраиваемых ресурсов контейнеров и настраиваемой параллельности. Потоковые журналы и метрики в реальном времени облегчают отладку и мониторинг. Python UDF оплачиваются по SKU "Сервисы BigQuery" и подпадают под действие обязательств по затратам. Начало работы включает изучение документации по продукту и общедоступных наборов данных.