AlloyDB: ハイブリッド検索のための統合データベースエ... ノート

AlloyDB: ハイブリッド検索のための統合データベースエンジン

現代のAIおよびRAGアプリケーションで高い検索関連性を達成するには、セマンティックコンテキストのためのベクトル検索とキーワードの精度を高めるための全文検索(FTS)を組み合わせる必要があります。AlloyDB for PostgreSQLは両方をサポートしていますが、それらの結果を管理およびマージするには、従来は複雑なSQLまたはカスタムアプリケーションロジックが必要でした。これにより、多くの場合、フュージョン、スコア正規化、および再ランキングのために別々のシステムが必要となり、脆弱なロジック、レイテンシの増加、および高い運用負荷につながっていました。AlloyDB AIのハイブリッド検索は、これらのステップをReciprocal Rank Fusion(RRF)によって強化された単一の高性能SQL関数に統合することで、これを簡素化します。RRFは、本質的にランクベースであるため、スコア正規化を回避し、プロセスを簡素化します。ai.hybrid_search()関数は、ワークフロー全体をネイティブに実行し、オーバーヘッドを最小限に抑え、トランザクションの一貫性を確保します。FTSの最適化のために、RUM拡張機能は単語の位置をインデックスに直接格納し、標準のGINインデックスとは異なり、低レイテンシの関連性ランキングと効率的なフレーズマッチングを可能にします。AlloyDB AIはまた、優れた、すぐに使用できるキーワードベースのスコアリングのためにBM25インデックスを導入しています。汎用性を拡大するために、新しい外部検索Foreign Data Wrapper(FDW)により、AlloyDBを離れることなくElasticsearch、OpenSearch、およびSolrのような専門的なクラスターをクエリできます。この統一されたアーキテクチャは、ハイブリッド検索を簡素化し、RUMまたはBM25のようなオプションでFTSを最適化し、外部検索統合を通じて汎用性を向上させます。
CdXz5zHNQW_vdzE83Skip.png