BigQuery 생성형 AI 함수를 사용하면 SQL 쿼리에 대규모 언어 모델을 직접 통합하여 분류 및 감성 분석과 같은 작업을 수행할 수 있습니다. 이러한 함수는 토큰당 요금이 부과되므로 대규모 사용 시에는 사전 예산 관리가 중요합니다. Google Cloud는 IAM을 통해 관리되는 일일 할당량을 통해 이러한 함수에 대한 토큰 기반 비용 관리를 도입했습니다.일일 할당량은 네 가지가 있습니다. AI 입력 토큰/일, AI 입력 토큰/일/사용자, AI 출력 토큰/일, AI 출력 토큰/일/사용자입니다. 이러한 할당량은 전역적으로 적용되며 임베딩 함수를 제외한 BigQuery의 특정 생성형 AI 함수를 포함합니다. 관리자는 Google Cloud 콘솔에서 직접 또는 API를 통해 프로그래밍 방식으로 할당량을 확인하고 조정할 수 있습니다.비용을 효과적으로 관리하기 위해 사용자는 할당량을 즉시 낮추거나 증가를 요청할 수 있으며, 이는 종종 자동 승인됩니다. 할당량 및 시스템 제한 페이지에서 사용량을 모니터링하면 급증을 감지하고 예산을 적절하게 조정하는 데 도움이 됩니다. 토큰 할당량은 광범위한 Cloud Billing 지출 한도와는 별개로, 예방적인 AI별 가드레일 역할을 합니다.적용은 할당량에 도달하면 작업을 중지하는 것을 포함하며, 쿼리를 미리 거부하거나 쿼리 중간에 LLM 호출을 중지합니다. AI.COUNT_TOKENS 함수는 추가 비용 없이 입력 토큰 사용량을 추정하는 데 도움이 됩니다. 토큰 가격을 이해하고 사용량을 추정함으로써 관리자는 예산 목표에 맞게 적절한 할당량 값을 설정할 수 있습니다.모범 사례에는 사용자별 할당량으로 시작하고, AI.COUNT_TOKENS로 입력 데이터를 측정하고, 출력 토큰의 높은 비용을 염두에 두고, 관찰된 사용량을 기반으로 한도를 반복적으로 조정하는 것이 포함됩니다. 이러한 토큰 기반 가드레일을 구현하면 BigQuery의 생성형 AI에 대한 비용 예측 가능성을 제공합니다.