BigQuery 中可预测的 AI 支出:推出生成式 AI ... 笔记

BigQuery 中可预测的 AI 支出:推出生成式 AI 函数的成本管理

BigQuery 生成式 AI 函数允许用户将大型语言模型直接集成到 SQL 查询中,以执行分类和 sentiment 分析等任务。这些函数按 token 计费,因此对于大规模使用而言,主动进行预算管理至关重要。Google Cloud 已通过由 IAM 管理的每日配额,为这些函数引入了基于 token 的成本管理。存在四种每日配额:每日 AI 输入 token、每日每用户 AI 输入 token、每日 AI 输出 token 以及每日每用户 AI 输出 token。这些配额在全球范围内生效,涵盖 BigQuery 中的特定生成式 AI 函数,但不包括嵌入函数。管理员可以直接在 Google Cloud 控制台中查看和调整配额,也可以通过 API 进行程序化操作。为了有效管理成本,用户可以立即降低配额或申请增加配额(通常会自动批准)。在“配额与系统限制”页面监控使用情况,有助于检测用量激增并合理调整预算。Token 配额作为一种预防性的、针对 AI 的护栏,与更广泛的 Cloud Billing 支出上限有所区别。执行机制包括在达到配额时停止工作,具体表现为预先拒绝查询或在查询过程中中断 LLM 调用。AI.COUNT_TOKENS 函数有助于在不产生额外成本的情况下估算输入 token 用量。通过理解 token 定价并估算用量,管理员可以设定适当的配额值以符合预算目标。最佳实践包括:从每用户配额开始,使用 AI.COUNT_TOKENS 测量输入数据,注意输出 token 成本较高,并根据实际观察到的用量迭代调整限制。实施这些基于 token 的护栏可为 BigQuery 中的生成式 AI 提供成本可预测性。
CdXz5zHNQW_TKvYyrBXNC.png