Новая функция AI.AGG в BigQuery, находящаяся в настоящее время в предварительной версии, революционизирует анализ неструктурированных данных, позволяя выполнять семантическую агрегацию на нескольких уровнях непосредственно в GoogleSQL. Это устраняет критический пробел, где традиционные реляционные SQL-движки испытывали трудности с синтезом информации из огромных текстовых и мультимодальных наборов данных из-за ограничений контекстного окна больших языковых моделей (LLM). AI.AGG концептуализирует семантическую агрегацию как распределенную задачу map-reduce, позволяя командам по работе с данными выполнять инструкции на естественном языке для миллионов строк с помощью одного SQL-запроса. Базовая многоуровневая пакетная архитектура автоматически обрабатывает проверку строк, пакетную обработку с учетом контекста, параллельный вывод через Vertex AI и рекурсивный синтез с использованием полновесных LLM до получения одной агрегированной строки. Она нативно поддерживает как текстовые, так и мультимодальные входные данные, используя BigQuery Object Tables для анализа изображений без перемещения данных. AI.AGG предназначен для трансформационных корпоративных сценариев использования, таких как диагностический анализ системных журналов с большим объемом и создание "агентских облаков данных" для автономных конвейеров маркировки данных. Инженерия подсказок для AI.AGG требует явных контрактов на вывод, контекстных разделителей, проектирования состояний сбоев и привязки по нескольким примерам для обеспечения программных SQL-выводов. Управление затратами включает предварительную фильтрацию с помощью предложений WHERE и LIMIT, а также использование кэширования контекста Gemini, с AI.COUNT_TOKENS для оценки. Функция работает в рамках системы управления BigQuery, поддерживая VPC Service Controls и корректно обрабатывая временные ошибки. Ограничения предварительной версии включают ограничение вывода в 10 000 токенов на группу, ограничение строки в 10 МБ и рекомендации по обработке до 20 миллионов строк и 1 000 различных SQL-групп. AI.AGG превращает корпоративное хранилище данных в активную семантическую среду выполнения, демократизируя доступ к семантическому анализу в масштабе петабайт.