Google Cloud Blog на русском
Подписаться
Предсказуемые расходы на ИИ в BigQuery: Представляем управление затратами для функций генеративного ИИ
Функции генеративного ИИ в BigQuery позволяют пользователям интегрировать большие языковые модели непосредственно в SQL-запросы для таких задач, как классификация и анализ тональности. Эти функции оплачиваются за токен, что делает проактивное управление бюджетом критически важным для крупномасштабного использования. Google Cloud внедрил управление затратами на основе токенов для этих функций посредством ежедневных квот, управляемых через IAM.Существует четыре ежедневных квоты: токены ввода ИИ в день, токены ввода ИИ в день на пользователя, токены вывода ИИ в день и токены вывода ИИ в день на пользователя. Эти квоты применяются глобально и охватывают конкретные функции генеративного ИИ в BigQuery, за исключением функций встраивания. Администраторы могут просматривать и корректировать квоты непосредственно в консоли Google Cloud или программно через API.Для эффективного управления затратами пользователи могут немедленно снизить квоты или запросить их увеличение, которое часто утверждается автоматически. Мониторинг использования на странице "Квоты и системные ограничения" помогает выявлять всплески и правильно определять размеры бюджетов. Токенные квоты действуют как превентивные, специфичные для ИИ ограничения, отличные от более широких лимитов расходов Cloud Billing.Принудительное применение включает остановку работы при достижении квот, либо отклонение запросов заранее, либо остановку вызовов LLM в середине запроса. Функция AI.COUNT_TOKENS помогает оценить использование входных токенов без дополнительных затрат. Понимая ценообразование токенов и оценивая использование, администраторы могут устанавливать соответствующие значения квот в соответствии с бюджетными целями.Рекомендуемые практики включают начало работы с квотами на пользователя, измерение входных данных с помощью AI.COUNT_TOKENS, учет более высокой стоимости выходных токенов и итеративную корректировку лимитов на основе наблюдаемого использования. Внедрение этих токенных ограничений обеспечивает предсказуемость затрат на генеративный ИИ в BigQuery.