데이터 과학자와 엔지니어는 종종 워크플로우에서 SQL과 Python을 통합하는 데 어려움을 겪습니다. 과거에는 두 환경 간의 번거로운 데이터 전송이 필요했습니다. Google Cloud는 Colab Enterprise에 SQL 셀을 도입하고 이제 이를 오픈 소스 생태계로 확장하여 %%bqsql IPython 셀 매직을 제공함으로써 이러한 문제를 해결했습니다. 이를 통해 단일 노트북에서 SQL 및 Python 코드를 원활하게 연결할 수 있습니다. 이 프로세스는 Jupyter, pandas, BigFrames와 같은 오픈 소스 패키지와 BigQuery 샌드박스를 사용하여 무료로 따를 수 있습니다. 설정에는 BigQuery 샌드박스를 활성화하고 로컬 Python 환경을 구성하거나 Colab을 사용하는 것이 포함됩니다. USDA 밀 데이터와 같은 로컬 데이터는 pandas DataFrame으로 로드하여 SQL 처리를 위해 준비할 수 있습니다. %%bqsql 매직을 사용하면 BigQuery가 로컬 pandas DataFrame을 임시 테이블로 취급하여 직접 쿼리할 수 있습니다. 진정한 힘은 작업 연결에 있습니다. SQL 쿼리 결과는 후속 Python 사용 또는 추가 SQL 변환을 위해 BigFrames DataFrame으로 저장할 수 있습니다. 이 하이브리드 파이프라인은 최적의 도구 선택을 허용하여 SQL의 대규모 데이터 처리를 Python의 시각화 및 모델링과 분리합니다. 복잡한 쿼리를 논리적 단계로 분해하여 코드 가독성을 향상시키고, 이 솔루션은 로컬 데이터에서 대규모 BigQuery 테이블로 원활하게 확장됩니다. %%bqsql 외에도 BigFrames는 다른 통합 기능을 제공하며, 결제 계정을 연결하면 BQML과 같은 고급 기능을 사용할 수 있습니다. 이 하이브리드 경험에 대한 피드백은 이메일 또는 저장소에 이슈를 제출하여 BigFrames 팀과 공유할 수 있습니다.