PDF、音声、画像などの非構造化データの管理において、企業は課題に直面しています。BigQueryは、このデータからインサイトを抽出するための、アクセス、処理、グラウンド、関連付け、アクティベートという5つのステップからなるシンプルなフレームワークを提供するようになりました。本投稿では、「グラウンド」フェーズを強化する3つの主要なマイルストーンに焦点を当てます。自律的な埋め込み生成が一般提供開始され、複雑なパイプラインなしに、新しい情報が取り込まれる際に自動的にデータ埋め込みが作成されます。この機能は、外部およびネイティブのGemma埋め込みモデルの両方をサポートし、現在はマルチモーダル画像埋め込み機能も含まれています。BigQueryは、エンタープライズ規模の処理を管理し、データを自動的に同期させることで、個別のベクトルデータベースの必要性を排除します。AI.SEARCHの一般提供開始は、単一クエリでの大幅な改善により、自然言語検索のパフォーマンスを向上させます。この機能により、ユーザーは埋め込みを検索パスに含める必要なく、意味的に関連するレコードを簡単に見つけることができます。パフォーマンスの最適化により、大幅な速度向上が実現され、ユーザー向けの検索がより迅速かつコスト効率よく行えるようになりました。ハイブリッド検索のパブリックプレビューは、キーワード検索とベクトル検索の機能を統合します。このアプローチは、セマンティック検索の概念的な理解と、レキシカルマッチングの正確な精度を組み合わせます。ハイブリッド検索は、セマンティックな関連性とキーワードの頻度の両方に基づいて結果を再ランク付けすることで、精度を向上させ、LLMの幻覚を減らします。これらの進歩は、エンドツーエンドの非構造化データ分析プラットフォームを構築するというBigQueryのより広範なビジョンの一部です。