RSS VentureBeat
팔로우
AI21의 Jamba Reasoning 3B, "소형" LLM의 의미를 재정의하다 — 노트북에서 25만 컨텍스트 지원
AI21 Labs는 노트북이나 휴대폰과 같은 기기에서 기업 사용을 위해 설계된 "소형" 오픈 소스 모델인 Jamba Reasoning 3B를 출시했습니다. 이 모델은 25만 개 이상의 토큰을 처리하며, 확장된 추론, 코드 생성, 그리고 진실 기반 응답을 처리할 수 있습니다. AI21은 소형 모델이 기업에게 매우 중요하다고 보고 있으며, 이는 추론을 기기로 옮겨 데이터 센터 부하를 줄이고, 고가의 데이터 센터 비용 문제를 해결하기 때문입니다. Jamba Reasoning 3B는 Mamba와 Transformers를 결합하여 대규모 컨텍스트 창을 지원하고 더 빠른 추론 속도를 제공하며, MacBook Pro에서 초당 35개의 토큰을 처리하는 속도로 테스트되었습니다. 이 하이브리드 아키텍처는 또한 메모리 요구 사항을 최소화하여 컴퓨팅 효율성을 향상시킵니다. 이 모델은 함수 호출 및 정책 기반 생성과 같은 작업에 뛰어나, 더 간단한 요청에 적합합니다. Jamba Reasoning 3B의 성능은 IFBench 및 Humanity's Last Exam과 같은 벤치마크에서 다른 소형 모델보다 뛰어납니다. Qwen 4B 및 Llama 3.2B-3B와 같은 다른 모델과 비교했을 때, Jamba Reasoning 3B는 더 우수한 제어 능력과 로컬 추론을 통해 기업의 향상된 개인 정보 보호를 제공합니다. 기업들은 소형 모델을 점점 더 많이 채택하고 있으며, Meta, Google, FICO와 같은 경쟁사들도 자체적인 특화된 모델을 출시하고 있습니다. AI21의 공동 CEO는 온디바이스 모델을 통해 고객 경험을 최적화하는 것이 주류 트렌드가 될 것이라고 믿고 있습니다.
