⭐ 5星 - 必读
Microsoft BitNet
发现于 2026-03-16 | 来源: GitHub Trending
是什么
Microsoft BitNet 是 1-bit LLM（大语言模型）的官方推理框架，专门为 1.58-bit 量化模型优化。它提供了一套优化的内核，支持在 CPU 和 GPU 上进行快速、无损的 1-bit 模型推理。
核心性能指标
1.37x - 6.17x
CPU 加速比
55% - 82%
能耗降低
100B
单CPU可运行模型
5-7
tokens/s (阅读速度)
关键亮点
- 超低资源运行：可在单个 CPU 上运行 100B 参数模型
- 显著节能：能耗降低 55.4% - 82.2%
- 高性能加速：x86 CPU 提升 2.37x - 6.17x
- ARM 优化：移动设备也能高效运行
- 基于 llama.cpp：成熟稳定的推理基础设施
支持模型
- BitNet-b1.58-2B-4T (2.4B 参数)
- BitNet-b1.58-3B (3.3B 参数)
- Llama3-8B-1.58-100B-tokens (8B 参数)
- Falcon3 Family (1B-10B 参数)
技术原理
BitNet 将模型权重量化到 1.58-bit（ternary：-1, 0, +1），大幅减少内存占用和计算量。bitnet.cpp 提供了优化的内核实现，支持 I2_S、TL1、TL2 等多种内核，可在不同硬件平台上高效运行。