Исследователи Microsoft разработали сверхэффективную модель ИИ, способную работать на CPU.

Microsoft представила BitNet b1.58 2B4T, масштабную 1-битную модель ИИ с 2 миллиардами параметров, которая может эффективно работать на процессорах. Модель находится в открытом доступе под лицензией MIT, что позволяет широко использовать и развивать ее. По словам исследователей Microsoft, BitNet b1.58 2B4T — первый битнет с 2 миллиардами параметров, которые в основном являются синонимом весов. Модель была обучена на огромном наборе данных из 4 триллионов токенов, что эквивалентно примерно 33 миллионам книг. Это обучение позволяет BitNet b1.58 2B4T превосходить традиционные модели аналогичных размеров, как утверждают исследователи. Производительность модели примечательна, так как она держится на уровне соперничающих моделей с 2 миллиардами параметров, хотя и не превосходит их значительно. BitNet b1.58 2B4T превосходит другие модели, включая Llama 3.2 1B от Meta и Gemma 3 1B от Google, по определенным бенчмаркам. Скорость и эффективность модели также впечатляют, так как она в два раза быстрее других моделей своего размера, используя при этом небольшую часть памяти. Однако для достижения такой производительности необходимо использовать собственный фреймворк Microsoft, bitnet.cpp, который в настоящее время работает только с определенным оборудованием. Ограниченная совместимость фреймворка, исключающая графические процессоры, может быть существенным ограничением для широкого распространения BitNet b1.58 2B4T.