RSS VentureBeat
Folgen
AI21s Jamba Reasoning 3B definiert neu, was „klein“ in LLMs bedeutet – 250K Kontext auf einem Laptop
AI21 Labs stellt Jamba Reasoning 3B vor, ein "winziges" Open-Source-Modell, das für den Unternehmenseinsatz auf Geräten wie Laptops und Telefonen konzipiert wurde. Dieses Modell kann erweiterte Argumentationen, Code-Generierung und wahrheitsbasierte Antworten verarbeiten und über 250.000 Token handhaben. AI21 sieht kleine Modelle als entscheidend für Unternehmen an, da sie die Rechenzentrumslast reduzieren, indem sie die Inferenz auf Geräte verlagern und die teuren Rechenzentrumskosten senken. Jamba Reasoning 3B kombiniert Mamba und Transformer, was ein großes Kontextfenster und schnellere Inferenzgeschwindigkeiten ermöglicht, getestet mit 35 Token pro Sekunde auf einem MacBook Pro. Die Hybridarchitektur minimiert auch den Speicherbedarf und verbessert die Recheneffizienz. Das Modell zeichnet sich bei Aufgaben wie Funktionsaufrufen und richtlinienbasierten Generierungen aus und eignet sich somit für einfachere Anfragen. Die Leistung von Jamba Reasoning 3B übertrifft andere kleine Modelle in Benchmarks wie IFBench und Humanity's Last Exam. Im Vergleich zu anderen Modellen wie Qwen 4B und Llama 3.2B-3B bietet Jamba Reasoning 3B eine überlegene Steuerbarkeit und verbesserten Datenschutz für Unternehmen, da die Inferenz lokal bleibt. Unternehmen setzen zunehmend auf kleine Modelle, wobei Wettbewerber wie Meta, Google und FICO ebenfalls ihre eigenen fokussierten Modelle veröffentlichen. Der Co-CEO von AI21 ist der Ansicht, dass die Optimierung der Kundenerfahrung durch On-Device-Modelle zu einem Mainstream-Trend werden wird.
