Python으로 BigQuery 성능 향상: 관리형 P... 노트

Python으로 BigQuery 성능 향상: 관리형 Python UDF, 이제 정식 출시

SQL은 구조화된 데이터 분석에 탁월하지만 복잡한 절차적 로직, 과학적 계산 및 머신러닝에는 어려움을 겪습니다. Python은 이러한 작업에 능숙합니다. 이전에는 데이터 실무자들이 사용자 정의 Python 코드를 실행하기 위해 인프라 관리 오버헤드에 직면했습니다. BigQuery Managed Python User-Defined Functions (UDFs)가 이제 일반적으로 사용 가능해져 이러한 문제를 해결합니다. 이 기능을 통해 사용자는 SQL 또는 BigQuery DataFrames를 사용하여 BigQuery 내에서 직접 사용자 정의 Python 코드를 실행할 수 있습니다. 이러한 UDF는 자동으로 확장되는 완전 관리형 서버리스 리소스를 활용합니다. NumPy 및 scikit-learn과 같은 라이브러리를 포함한 방대한 Python 생태계에 액세스할 수 있도록 하여 유연성을 제공합니다. 또한 외부 API 및 Google Cloud 서비스와의 실시간 통합을 허용합니다. 고급 사용자는 Pandas PyArrow를 사용한 벡터화된 처리, 구성 가능한 컨테이너 리소스 및 사용자 정의 가능한 동시성을 통해 성능을 최적화할 수 있습니다. 스트리밍 로그 및 실시간 메트릭은 디버깅 및 모니터링을 용이하게 합니다. Python UDF는 BigQuery Services SKU에 따라 청구되며 비용 약정 대상입니다. 시작하려면 제품 설명서 및 공개 데이터 세트를 탐색하면 됩니다.