AlloyDBとCloud SQLにおけるネイティブBM25... ノート

AlloyDBとCloud SQLにおけるネイティブBM25ランキングの発表

ベクトル検索は、生成AIおよびRAGに不可欠ですが、正確な英数字IDには課題があります。セマンティックベクトル検索と正確なキーワード全文検索を組み合わせたハイブリッド検索は、この制限に対処します。以前は、AlloyDBまたはCloud SQLでBM25ランキングを実現するには、個別の全文検索バックエンドが必要であり、複雑さとデータサイロを引き起こしていました。現在、AlloyDBおよびCloud SQL for PostgreSQL 17+では、オープンソースのpg_textsearch拡張機能によって強化されたネイティブBM25インデックスがプレビューで利用可能です。これにより、冗長なシステムが不要になり、業界標準のキーワードランキングがデータベース内で直接提供されます。ネイティブBM25インデックスは、C言語で最適化された高速なスコアリングを提供し、データの重複と同期ラグを排除します。AlloyDBは、ScaNNおよびHNSWインデックスタイプを備えた超高速ベクトル検索も提供します。PostgreSQLのts_rankとは異なり、BM25は逆文書頻度と項頻度飽和を考慮することで、優れた関連性スコアリングを提供します。ハイブリッド検索は、セマンティックな理解と正確なキーワードマッチングを統合し、特定の関連性の高い結果が優先されるようにします。AlloyDBとCloud SQLは現在、ネイティブBM25をサポートしており、統一されたハイブリッド検索エクスペリエンスのためにベクトル検索と統合する方法を提供しています。
CdXz5zHNQW_xgeNdfJHzi.png