RSS VentureBeat
Подписаться
"Jamba Reasoning 3B от AI21 переопределяет значение "маленький" в LLM — 250K контекста на ноутбуке"
AI21 Labs представляет Jamba Reasoning 3B, "маленькую" модель с открытым исходным кодом, разработанную для корпоративного использования на таких устройствах, как ноутбуки и телефоны. Эта модель может обрабатывать расширенные рассуждения, генерацию кода и ответы, основанные на истине, обрабатывая более 250 000 токенов. AI21 считает небольшие модели решающими для предприятий, снижая нагрузку на центры обработки данных за счет переноса вычислений на устройства, решая проблему дорогостоящих затрат на центры обработки данных. Jamba Reasoning 3B сочетает в себе Mamba и Transformers, обеспечивая большое контекстное окно и более высокую скорость вывода, протестированную на 35 токенах в секунду на MacBook Pro. Гибридная архитектура также минимизирует требования к памяти, повышая эффективность вычислений. Модель превосходно справляется с такими задачами, как вызов функций и генерация на основе политики, что делает ее подходящей для более простых запросов. Производительность Jamba Reasoning 3B превосходит другие небольшие модели в таких тестах, как IFBench и Humanity's Last Exam. По сравнению с другими моделями, такими как Qwen 4B и Llama 3.2B-3B, Jamba Reasoning 3B предлагает превосходное управление и повышенную конфиденциальность для предприятий, поскольку вывод остается локальным. Предприятия все чаще внедряют небольшие модели, и конкуренты, такие как Meta, Google и FICO, также выпускают свои собственные специализированные модели. Со-генеральный директор AI21 считает, что оптимизация пользовательского опыта с помощью моделей на устройствах станет основным трендом.
