LiteRT-LM으로 초고속 온디바이스 GenAI
Google AI Edge의 LiteRT-LM은 Gemma 4를 크로스 플랫폼 모바일 및 엣지 환경에서 실행하기 위한 프로덕션 검증된 고도로 최적화된 인프라를 제공합니다. 메모리 효율적인 동적 로딩, 최대 2.2배의 속도 향상을 위한 Multi-Token Prediction, 그리고 Thinking Mode 및 Constrained Decoding과 같은 고급 오케스트레이션 도구를 활용하여 온디바이스에서 모델의 네이티브 멀티모달 및 에이전트 기능을 적극적으로 활성화합니다. 또한, 이 엔진은 Android를 넘어 통합 표면을 빠르게 확장하고 있으며, Apple 생태계를 위한 새로운 네이티브 Swift API와 고성능 서버리스 브라우저 추론을 위한 WebGPU 가속 JavaScript API를 도입하고 있습니다.
