RSS VentureBeat
フォロー
AI21のJamba Reasoning 3B、LLMにおける「小型」の意味を再定義 - ラップトップで25万トークンのコンテキストを実現
AI21 Labs が、ラップトップやスマートフォンなどのデバイスでの企業利用向けに設計された「小型」オープンソースモデル、Jamba Reasoning 3B を発表しました。このモデルは、長文の推論、コード生成、そして事実に基づいた応答を処理でき、25万以上のトークンを扱えます。AI21 は、企業にとって小型モデルが重要であると考えており、推論をデバイスに移行することでデータセンターの負荷を軽減し、高額なデータセンターコストに対処します。Jamba Reasoning 3B は、Mamba と Transformers を組み合わせることで、大規模なコンテキストウィンドウと高速な推論速度を実現し、MacBook Pro で毎秒 35 トークンという速度でテストされています。このハイブリッドアーキテクチャは、メモリ要件も最小限に抑え、計算効率を向上させます。このモデルは、関数呼び出しやポリシーに基づいた生成などのタスクに優れており、よりシンプルなリクエストに適しています。Jamba Reasoning 3B のパフォーマンスは、IFBench や Humanity's Last Exam などのベンチマークで、他の小型モデルを上回っています。Qwen 4B や Llama 3.2B-3B などの他のモデルと比較して、Jamba Reasoning 3B は、企業向けに優れた制御性とプライバシーの強化を提供します。これは、推論がローカルで実行されるためです。企業は小型モデルの採用を増やしており、Meta、Google、FICO などの競合他社も、独自の特化型モデルをリリースしています。AI21 の共同 CEO は、オンデバイスモデルを通じて顧客体験を最適化することが、主流のトレンドになると考えています。
