Анонс нативной ранжировки BM25... Заметка

Анонс нативной ранжировки BM25 в AlloyDB и Cloud SQL

Векторный поиск необходим для генеративного ИИ и RAG, но он испытывает трудности с точными буквенно-цифровыми идентификаторами. Гибридный поиск, сочетание семантического векторного поиска и точного полнотекстового поиска по ключевым словам, устраняет это ограничение. Ранее для получения ранжирования BM25 с помощью AlloyDB или Cloud SQL требовался отдельный бэкенд полнотекстового поиска, что приводило к усложнению и разрозненности данных. Теперь в предварительной версии для AlloyDB и Cloud SQL для PostgreSQL 17+ доступен нативный индекс BM25, основанный на расширении с открытым исходным кодом pg_textsearch. Это устраняет необходимость в избыточных системах, предоставляя стандартное отраслевое ранжирование по ключевым словам непосредственно в базе данных. Нативный индекс BM25 обеспечивает оптимизированное для C быстрое ранжирование и устраняет дублирование данных и задержки синхронизации. AlloyDB также предлагает улучшенный векторный поиск с типами индексов ScaNN и HNSW. В отличие от ts_rank в PostgreSQL, BM25 обеспечивает превосходное ранжирование релевантности, учитывая обратную частоту документов и насыщение частоты терминов. Гибридный поиск объединяет семантическое понимание с точным совпадением ключевых слов, гарантируя приоритет конкретных, релевантных результатов. Теперь и AlloyDB, и Cloud SQL поддерживают нативный BM25 и предлагают методы его интеграции с векторным поиском для унифицированного гибридного поиска.
CdXz5zHNQW_xgeNdfJHzi.png