AlloyDB는 SQL 쿼리를 통해 텍스트, 벡터, 키워드 검색을 결합한 하이브리드 기능을 갖춘 엔터프라이즈 검색을 강화합니다. 중요한 발전은 중국어 및 일본어와 같은 표의 문자에 대한 지원으로, 이들 언어는 전통적으로 데이터베이스에서 공백 기반 토큰화에 어려움을 겪습니다. 표준 PostgreSQL 파서는 이러한 언어를 올바르게 분할하지 못하고 전체 문장을 단일 단위로 취급합니다. 타사 확장 프로그램이나 외부 사전 처리 파이프라인과 같은 전통적인 해결책은 한계와 운영 복잡성을 제시합니다. AlloyDB AI Functions는 이제 데이터베이스 내에서 Gemini 모델을 직접 통합하여 지능형 텍스트 파싱을 가능하게 합니다. 이를 통해 데이터 이동을 제거하고 관리를 단순화하며 대규모 언어 모델의 지능을 활용하여 정확한 단어 분할을 수행합니다. 이 솔루션은 원시 콘텐츠, 분할된 텍스트, 검색 벡터 및 벡터 임베딩을 저장하기 위한 테이블을 생성하는 것을 포함합니다. 배열 집계를 사용하는 인-데이터베이스 저장 프로시저를 이용한 배치 처리는 메모리 부족이나 과도한 잠금 없이 대규모 데이터셋을 효과적으로 처리합니다. PostgreSQL에서 'simple' 또는 'english' 텍스트 검색 구성 중에서 선택하는 것은 데이터셋의 언어 구성에 따라 달라집니다. 검색 쿼리도 정확한 일치를 보장하기 위해 동일한 AI 분할 논리를 사용하여 사전 처리해야 합니다. 검색 벡터에 RUM 인덱스를 구현하면 관련성 계산 및 쿼리 성능이 더욱 최적화됩니다. 이러한 네이티브 통합은 이전의 한계를 극복하고 표의 문자 언어에서 매우 정확한 전문 검색을 가능하게 합니다.