RSS 클라우드 블로그
팔로우
AlloyDB AI 함수 - 혁신적인 성능 향상 및 비용 절감 기능 추가
AlloyDB는 AI 네이티브 데이터베이스로, 벡터 검색 및 자연어-SQL 기능과 같은 기능을 제공하며 데이터를 지능적으로 처리합니다. Gemini와 같은 파운데이션 모델을 AI 함수를 통해 직접 통합하여 Gemini의 세계 지식을 데이터에 가져옵니다. 이러한 함수는 원시 사용자 피드백과 같은 비정형 데이터를 구조화된 인사이트로 변환하여 복잡한 사용자 정의 파이프라인의 필요성을 제거합니다. 예를 들어, ai.generate는 원시 텍스트를 정리된 구조화된 JSON으로 변환할 수 있습니다.새로운 AI 함수에는 각각 감정 톤을 분류하고, 텍스트를 압축하고, 여러 행을 요약하는 ai.summarize, ai.agg_summarize, ai.analyze_sentiment가 포함됩니다. AlloyDB는 두 가지 주요 혁신을 통해 AI 함수 처리에서 상당한 성능 및 비용 개선을 달성했습니다. AI 함수를 위한 스마트 배치(Smart Batching)는 AI 함수 호출을 지능적으로 그룹화하여 프롬프트 오버헤드를 중복 제거하고 성능을 최대 2,400배 향상시킵니다. AlloyDB는 최적의 배치 크기를 자동으로 결정하고 재시도를 처리합니다.최적화된 AI 함수(처음에는 ai.if용)는 데이터로 학습된 작은 프록시 모델을 배포하여 외부 LLM 호출을 대폭 줄입니다. 이는 초당 최대 100,000개의 행을 처리하고 비용을 6,000배 절감할 수 있습니다. AlloyDB는 PREPARE 문을 사용할 때 백그라운드에서 이 프록시 모델을 학습시키고 정확도가 낮으면 자동으로 LLM으로 대체됩니다. 이러한 최적화를 통해 사용자는 특정 숫자 제약 조건을 기반으로 제품을 필터링하는 것과 같은 복잡한 쿼리를 전례 없는 속도와 비용 효율성으로 처리할 수 있습니다.사용자는 AlloyDB의 30일 무료 평가판으로 시작하고 SQL 쿼리 내에서 AI 함수를 직접 활성화할 수 있습니다. 성능 및 비용 절감을 극대화하기 위해 사용자는 최적화된 함수와 스마트 배치를 활용할 수 있습니다. 이러한 발전은 사용자가 Gemini의 지능을 AlloyDB 데이터에 효율적으로 가져올 수 있도록 합니다.