BigQuery가 이제 Python UDF 로깅을 지원하여 개발자가 Python의 표준 로깅 라이브러리를 사용하여 구조화된 로그를 Cloud Logging으로 직접 내보낼 수 있습니다. 이 새로운 기능은 외부 플러그인 없이 운영 모니터링 및 디버깅을 용이하게 하며, 특히 내결함성 데이터 파이프라인 구축에 유용합니다. 워크플로우에는 Python UDF 내의 인라인 유효성 검사, 로그 기반 메트릭을 통한 Cloud Monitoring을 통한 실시간 알림, SQL을 사용한 쿼런틴된 데이터의 분류/재실행이 포함됩니다.실제 예시는 전자상거래 이벤트 수집 파이프라인을 보여줍니다. 일반 Python UDF는 JSON을 파싱하고, 유효하지 않은 레코드에 대한 진단 정보를 기록하며, 쿼리 실패를 방지하기 위해 NULL을 반환합니다. 로깅은 BigQuery 세션에서 SET @@udf.properties를 통해 활성화됩니다.UDF 오류에 대한 특정 로그 필터를 사용하여 Cloud Logging에서 실시간 알림을 구성할 수 있습니다. 포렌식 분석을 위해 연결된 _AllLogs 뷰에 대한 BigQuery Log Analytics를 사용하면 데이터 엔지니어가 SQL을 사용하여 쿼런틴된 페이로드를 직접 쿼리할 수 있습니다. 원시 페이로드가 보존되므로 문제가 있는 레코드를 복구하여 프로덕션 테이블에 다시 수집할 수 있어 데이터 손실이 발생하지 않습니다.데이터 유효성 검사를 넘어 이 로깅 기능은 안전한 마이그레이션을 위한 섀도우 실행, PII 삭제 감사, ML 추론 드리프트 감지와 같은 사용 사례를 지원합니다. 모범 사례에는 디버그 출력을 활성화하고, 로그에 민감한 데이터를 피하고, 선택적 로깅을 통해 로깅 비용을 관리하는 것이 포함됩니다. 이 통합은 디버깅을 간소화하고 BigQuery 내에서 데이터 파이프라인의 복원력을 향상시킵니다.