微软研究人员开发出可在 CPU 上运行的超高效 AI 模型

微软推出了 BitNet b1.58 2B4T，这是一个拥有 20 亿参数的大型 1 比特 AI 模型，可以在 CPU 上高效运行。该模型在 MIT 许可证下开放使用，允许广泛使用和开发。根据微软研究人员的说法，BitNet b1.58 2B4T 是首个拥有 20 亿参数的 bitnet，这些参数基本上等同于权重。该模型在一个包含 4 万亿个 token 的庞大数据集上进行了训练，这相当于大约 3300 万本书。研究人员声称，这种训练使 BitNet b1.58 2B4T 的表现优于类似规模的传统模型。该模型的性能引人注目，因为它能够与竞争对手的 20 亿参数模型相媲美，尽管它并没有显著超越它们。在某些基准测试中，BitNet b1.58 2B4T 超过了其他模型，包括 Meta 的 Llama 3.2 1B 和谷歌的 Gemma 3 1B。该模型的速度和效率也很令人印象深刻，因为它比同等规模的其他模型快两倍，同时使用的内存却更少。然而，要实现这种性能，需要使用微软的自定义框架 bitnet.cpp，该框架目前仅适用于某些硬件。该框架的有限兼容性，不包括 GPU，可能是 BitNet b1.58 2B4T 广泛应用的一个重大限制。