AI.AGG를 이용한 BigQuery에서 수백만 행에 대한 의미론적 집계
현재 프리뷰 상태인 BigQuery의 새로운 AI.AGG 기능은 GoogleSQL 내에서 직접 다단계 의미론적 집계를 가능하게 하여 비정형 데이터 분석에 혁신을 가져옵니다. 이는 대규모 언어 모델(LLM)의 컨텍스트 창 제한으로 인해 기존 관계형 SQL 엔진이 방대한 텍스트 및 멀티모달 데이터셋에서 인사이트를 종합하는 데 어려움을 겪었던 중요한 격차를 해소합니다. AI.AGG는 의미론적 집계를 분산형 맵리듀스 문제로 개념화하여, 데이터 팀이 단일 SQL 쿼리로 수백만 행에 걸쳐 자연어 지침을 실행할 수 있도록 합니다. 기반이 되는 다단계 배치 아키텍처는 행 유효성 검사, 컨텍스트 안전 배치, Vertex AI를 통한 병렬 추론, 그리고 단일 집계 문자열이 생성될 때까지 전체 가중치 LLM을 사용한 재귀적 종합을 자동으로 처리합니다. 데이터 이동 없이 이미지 분석을 위해 BigQuery Object Tables를 활용하여 텍스트 및 멀티모달 입력을 모두 네이티브로 지원합니다. AI.AGG는 대량 시스템 로그의 진단 분석 및 자율 데이터 레이블링 파이프라인을 위한 "에이전트 데이터 클라우드" 구축과 같은 혁신적인 엔터프라이즈 사용 사례를 위해 설계되었습니다. AI.AGG를 위한 프롬프트 엔지니어링은 프로그래밍 가능한 SQL 출력을 보장하기 위해 명시적인 출력 계약, 컨텍스트 구분 기호, 실패 상태 설계 및 소량 예시 앵커링을 요구합니다. 비용 관리는 WHERE 및 LIMIT 절을 사용한 사전 필터링과 Gemini Context Caching 활용, 그리고 추정을 위한 AI.COUNT_TOKENS 사용을 포함합니다. 이 기능은 BigQuery의 거버넌스 프레임워크 내에서 작동하며, VPC Service Controls를 지원하고 일시적인 오류 발생 시 우아하게 성능을 저하시킵니다. 프리뷰 가드레일에는 그룹당 10,000 토큰 출력 제한, 10MiB 행 제한, 그리고 최대 2천만 행 및 1,000개의 고유 SQL 그룹 처리를 위한 권장 사항이 포함됩니다. AI.AGG는 엔터프라이즈 데이터 웨어하우스를 능동적이고 의미론적인 런타임으로 변환하여 페타바이트 규모의 의미론적 분석에 대한 접근을 민주화합니다.