AlloyDB расширяет возможности корпоративного поиска благодаря гибридным функциям, объединяя текстовый, векторный и ключевой поиск с помощью SQL-запросов. Значительным достижением является поддержка логографических языков, таких как китайский и японский, которые традиционно испытывают трудности с токенизацией на основе пробелов в базах данных. Стандартные парсеры PostgreSQL не могут правильно сегментировать эти языки, рассматривая целые предложения как единое целое. Традиционные обходные пути, такие как сторонние расширения или внешние конвейеры предварительной обработки, имеют ограничения и усложняют эксплуатацию. Функции AlloyDB AI теперь обеспечивают нативную интеграцию моделей Gemini непосредственно в базу данных для интеллектуального анализа текста. Это устраняет перемещение данных, упрощает администрирование и использует интеллект больших языковых моделей для точной сегментации слов. Решение включает создание таблицы для хранения необработанного контента, сегментированного текста, поисковых векторов и векторных вложений. Пакетная обработка с использованием хранящейся процедуры в базе данных с агрегацией массивов эффективно обрабатывает большие наборы данных без исчерпания памяти или чрезмерной блокировки. Выбор между конфигурациями текстового поиска "simple" и "english" в PostgreSQL зависит от языкового состава набора данных. Поисковые запросы также должны быть предварительно обработаны с использованием той же логики сегментации ИИ для обеспечения точного соответствия. Реализация RUM-индексов на поисковом векторе дополнительно оптимизирует расчет релевантности и производительность запросов. Эта нативная интеграция обеспечивает высокоточный полнотекстовый поиск на логографических языках, преодолевая предыдущие ограничения.