InfoQ 한국어
팔로우
AlloyDB, 데이터베이스 내에서 LLM 호출을 로컬 추론으로 대체하는 프록시 모델 출시
Google은 LLM 출력에서 경량 로컬 모델을 학습시킨 다음 외부 호출 없이 데이터베이스 속도로 쿼리를 실행하는 프록시 모델 아키텍처와 함께 AlloyDB AI 함수를 GA로 출시했습니다. 스마트 배치 처리는 2,400배의 처리량 향상을 제공합니다. 프록시 모델은 미리 보기에서 초당 100,000개의 행에 도달하지만, 벤치마크 수치는 내부 테스트의 ai.if에만 적용됩니다. Steef-Jan Wiggers 작성
AlloyDB Ships Proxy Models That Replace LLM Calls with Local Inference Inside the Database infoq.com
