BQ Search 혁신을 통한 구조화 및 비구조화 데이터 인사이트 통합
기업들은 PDF, 오디오, 이미지와 같은 비정형 데이터를 관리하는 데 어려움을 겪고 있습니다. BigQuery는 이제 이러한 데이터에서 인사이트를 발굴하기 위한 간소화된 5단계 프레임워크를 제공합니다: 액세스, 처리, 그라운딩, 관계 설정, 활성화. 이 게시물은 "그라운딩" 단계를 향상시키는 세 가지 주요 마일스톤에 중점을 둡니다. 자율 임베딩 생성(Autonomous Embedding Generation)이 이제 정식 출시되어, 복잡한 파이프라인 없이 새로운 정보가 수집될 때 자동으로 데이터 임베딩을 생성합니다. 이 기능은 외부 및 네이티브 Gemma 임베딩 모델을 모두 지원하며, 이제 멀티모달 이미지 임베딩 기능도 포함합니다. BigQuery는 엔터프라이즈 규모의 처리를 관리하고 데이터를 자동으로 동기화하여 별도의 벡터 데이터베이스의 필요성을 제거합니다. AI.SEARCH의 정식 출시는 상당한 단일 쿼리 성능 향상으로 자연어 검색 성능을 개선합니다. 이 기능은 사용자가 검색 경로에 임베딩이 필요 없이 의미적으로 관련된 레코드를 쉽게 찾을 수 있도록 합니다. 성능 최적화는 상당한 속도 향상을 가져와 사용자 대면 검색을 더 빠르고 비용 효율적으로 가능하게 합니다. 하이브리드 검색(Hybrid Search)의 공개 미리 보기(Public Preview)는 키워드 및 벡터 검색 기능을 통합합니다. 이 접근 방식은 의미 검색의 개념적 이해와 어휘 일치의 정확한 일치를 결합합니다. 하이브리드 검색은 의미 관련성과 키워드 빈도를 모두 기반으로 결과를 재순위화하여 정확도를 높이고 LLM 환각을 줄입니다. 이러한 발전은 엔드투엔드 비정형 데이터 분석 플랫폼을 구축하려는 BigQuery의 더 넓은 비전의 일부입니다.