Предприятия сталкиваются с трудностями при управлении неструктурированными данными, такими как PDF-файлы, аудио и изображения. BigQuery теперь предлагает упрощенную пятиэтапную структуру для извлечения ценной информации из этих данных: Доступ, Обработка, Обогащение, Связывание и Активация. В этой статье основное внимание уделяется трем ключевым этапам, которые улучшают фазу "Обогащение". Автоматическая генерация эмбеддингов теперь общедоступна, автоматически создавая эмбеддинги данных по мере поступления новой информации без сложных конвейеров. Эта функция поддерживает как внешние, так и нативные модели эмбеддингов Gemma, а теперь включает возможности мультимодального эмбеддинга изображений. BigQuery устраняет необходимость в отдельных векторных базах данных, управляя обработкой в масштабе предприятия и автоматически поддерживая синхронизацию данных. Общедоступность AI.SEARCH улучшает производительность поиска на естественном языке со значительным приростом в одном запросе. Эта функция позволяет пользователям легко находить семантически связанные записи без необходимости использования эмбеддингов в пути поиска. Оптимизация производительности привела к существенному увеличению скорости, обеспечивая более быстрый и экономичный поиск для конечных пользователей. Публичная предварительная версия гибридного поиска объединяет возможности поиска по ключевым словам и векторного поиска. Этот подход сочетает концептуальное понимание семантического поиска с точной точностью лексического соответствия. Гибридный поиск повышает точность и уменьшает галлюцинации LLM, переранжируя результаты на основе как семантической релевантности, так и частоты ключевых слов. Эти достижения являются частью более широкой концепции BigQuery по созданию комплексной платформы аналитики неструктурированных данных.