BigQueryにおける予測可能なAI支出:生成AI機能のコ... ノート

BigQueryにおける予測可能なAI支出:生成AI機能のコスト管理の導入

BigQuery の生成 AI 関数により、ユーザーは大規模言語モデルを SQL クエリに直接統合して、分類や感情分析などのタスクを実行できます。これらの関数はトークンごとに課金されるため、大規模な使用にはプロアクティブな予算管理が不可欠です。Google Cloud は、IAM を介して管理される日次クォータを通じて、これらの関数に対するトークンベースのコスト管理を導入しました。日次クォータは 4 つあります。AI 入力トークン/日、AI 入力トークン/日/ユーザー、AI 出力トークン/日、AI 出力トークン/日/ユーザーです。これらのクォータはグローバルに適用され、埋め込み関数を除く BigQuery の特定の生成 AI 関数を対象とします。管理者は、Google Cloud コンソールで直接、または API を介してプログラムでクォータを表示および調整できます。コストを効果的に管理するために、ユーザーはクォータをすぐに引き下げたり、増加をリクエストしたりできます。増加は多くの場合自動承認されます。クォータとシステム制限ページで使用状況を監視すると、急増を検出し、予算を適切に設定するのに役立ちます。トークンクォータは、より広範な Cloud Billing の支出上限とは異なる、予防的な AI 固有のガードレールとして機能します。実施には、クォータに達したときに処理を停止することが含まれます。クエリを事前に拒否するか、クエリの途中で LLM 呼び出しを停止します。AI.COUNT_TOKENS 関数は、追加費用なしで入力トークン使用量を推定するのに役立ちます。トークン価格を理解し、使用量を推定することで、管理者は予算目標に合わせた適切なクォータ値を設定できます。ベストプラクティスには、ユーザーごとのクォータから始めること、AI.COUNT_TOKENS を使用して入力データを測定すること、出力トークンの高コストに注意すること、および観測された使用状況に基づいて制限を反復的に調整することが含まれます。これらのトークンベースのガードレールを実装することで、BigQuery の生成 AI のコスト予測が可能になります。
CdXz5zHNQW_TKvYyrBXNC.png