Flux RSS VentureBeat
Suivre
Jamba Reasoning 3B d'AI21 redéfinit ce que signifie « petit » dans les LLM — 250K de contexte sur un ordinateur portable
AI21 Labs présente Jamba Reasoning 3B, un modèle open-source "minuscule" conçu pour une utilisation en entreprise sur des appareils tels que les ordinateurs portables et les téléphones. Ce modèle peut gérer un raisonnement étendu, la génération de code et des réponses basées sur la vérité fondamentale, traitant plus de 250 000 tokens. AI21 considère les petits modèles comme cruciaux pour les entreprises, réduisant la charge des centres de données en déplaçant l'inférence vers les appareils, ce qui permet de faire face aux coûts élevés des centres de données. Jamba Reasoning 3B combine Mamba et Transformers, permettant une grande fenêtre contextuelle et des vitesses d'inférence plus rapides, testées à 35 tokens par seconde sur un MacBook Pro. L'architecture hybride minimise également les besoins en mémoire, améliorant l'efficacité informatique. Le modèle excelle dans des tâches telles que l'appel de fonctions et la génération basée sur des politiques, ce qui le rend adapté aux requêtes plus simples. Les performances de Jamba Reasoning 3B surpassent celles d'autres petits modèles dans des benchmarks tels que IFBench et Humanity's Last Exam. Comparé à d'autres modèles, tels que Qwen 4B et Llama 3.2B-3B, Jamba Reasoning 3B offre une meilleure orientabilité et une confidentialité accrue pour les entreprises, car l'inférence reste locale. Les entreprises adoptent de plus en plus de petits modèles, avec des concurrents comme Meta, Google et FICO qui publient également leurs propres modèles ciblés. Le co-PDG d'AI21 estime que l'optimisation de l'expérience client grâce à des modèles sur appareil deviendra une tendance dominante.
