AlloyDBは、テキスト、ベクター、キーワード検索をSQLクエリで組み合わせたハイブリッド機能でエンタープライズ検索を強化します。大きな進歩として、中国語や日本語のような表意文字言語のサポートがあります。これらは従来、データベースの空白ベースのトークン化に苦労していました。標準的なPostgreSQLパーサはこれらの言語を正しく分割できず、文全体を単一単位として扱います。サードパーティの拡張や外部前処理パイプラインのような従来の回避策は、制約と運用の複雑さを伴います。AlloyDB AI Functionsは、Geminiモデルをデータベース内で直接ネイティブに統合し、インテリジェントなテキスト解析を可能にします。これによりデータの移動が不要になり、管理が簡素化され、大規模な言語モデルのインテリジェンスを活用して正確なワードセグメンテーションを実現します。解決策は、生のコンテンツ、分割されたテキスト、検索ベクトル、ベクター埋め込みを格納するテーブルを作成することからです。データベース内のストアドプロシージャを用いたバッチ処理と配列集約は、メモリ枯渇や過度なロックなしに大規模なデータセットを効果的に処理します。PostgreSQLにおける「シンプル」と「英語」のテキスト検索設定の選択は、データセットの言語構成によって異なります。検索クエリも同じAIセグメンテーションロジックを用いて事前処理され、正確なマッチングを確実にします。検索ベクターにRUMインデックスを実装することで、関連性計算とクエリ性能をさらに最適化します。このネイティブ統合により、ロゴグラフィカル言語での高精度な全文検索が可能となり、従来の制約を克服しています。