RSS クラウド ブログ
フォロー
PythonでBigQueryを強化:マネージドPython UDFが一般提供開始
SQLは構造化データ分析に優れていますが、複雑な手続き型ロジック、科学計算、機械学習には苦労します。Pythonはこれらのタスクに優れています。以前は、データ実務家はカスタムPythonコードを実行するためにインフラストラクチャ管理のオーバーヘッドに直面していました。BigQuery Managed Python User-Defined Functions (UDFs) が一般提供され、この課題に対処します。この機能により、ユーザーはSQLまたはBigQuery DataFramesを使用してBigQuery内で直接カスタムPythonコードを実行できます。これらのUDFは、自動的にスケーリングされる完全に管理されたサーバーレスリソースを活用します。NumPyやscikit-learnなどのライブラリを含む広範なPythonエコシステムへのアクセスを可能にすることで、柔軟性を提供します。さらに、外部APIやGoogle Cloudサービスとのリアルタイム統合を可能にします。高度なユーザーは、Pandas PyArrowによるベクトル化処理、設定可能なコンテナリソース、カスタマイズ可能な同時実行性を通じてパフォーマンスを最適化できます。ストリーミングログとリアルタイムメトリクスは、デバッグと監視を容易にします。Python UDFはBigQuery Services SKUの下で請求され、コストコミットメントの対象となります。開始するには、製品ドキュメントと公開データセットを探索してください。