发生了什么

Intel（制造处理器等芯片的公司）的三位研究者，在2026年9月14日把一篇论文放到了arXiv（公开研究论文的网站）上。论文研究一种更省空间的三值LLM（使用三种数字的大语言模型）。他们把新方法叫作BITCOS。

三值LLM里的每个权重，只使用−1、0、+1三种数。论文标题说它突破了1.58比特的门槛，但这不是一条不可改变的自然规律。约1.585比特来自log₂3。这个数假设三种符号出现得一样多。

背景：1.58比特从哪里来

权重是模型内部用来计算的小数字。每个权重占用的空间越少，模型文件就越小。模型生成答案时，也要不断从内存读取权重。因此，少读一些数据，有时能让生成更快。

常见做法是把5个三值数字装进1个字节。这样接近1.585比特。不过，实际模型常按128个权重分组。128不能被5整除，所以边界会留下空位，实际使用量会上升到1.625比特。

研究者测量了29个三值模型检查点。它们的0占比从29.7%到51.5%不等。也就是说，很多模型里的0比另外两个数更常见。这个偏差就是BITCOS可以利用的地方。

BITCOS怎样工作

BITCOS把数据分成两部分。第一部分是存在图。它为每个权重写一个比特，说明这个位置是不是0。第二部分是压紧的符号串。它只为非0权重保存正号或负号。

如果0的比例是z，那么每个权重需要1加上1−z，也就是2−z比特。0占51.5%时，计算是2−0.515＝1.485比特。论文显示，在测试的29个模型中，有26个比5个三值数字装进1字节的做法更省空间。

BITCOS不需要重新训练模型，也不改变原来的三值。它只是换了保存和读取的方法。研究者还为AVX-512、AVX2和Intel Xe2 GPU写了读取代码。

实验结果说明了什么

研究者把BITCOS接入vLLM，并测试7个模型检查点。他们用了5个平台，包括64核服务器CPU、24核客户端CPU、8核客户端CPU、集成GPU和独立GPU。

当内存读数据是主要瓶颈时，BITCOS通常更快。64核CPU上的最终生成速度提高了1.10到1.18倍。24核CPU提高了1.02到1.15倍。集成GPU提高了1.09到1.22倍。独立GPU提高了1.02到1.27倍。

但结果并不适用于所有机器。在8核的Lunar Lake CPU上，BITCOS比2比特基准更慢。原因是读取小数据时，还要付出额外的还原计算。存得更小，不一定就答得更快。

已确认与仍未知的部分

论文给出了29个模型的0占比、保存量计算、底层测试和完整生成测试。这篇论文也在Hacker News（技术新闻社区）上受到关注。不过，Hacker News的points和comments只表示社区关注度，不是论文正确的证明。

论文目前是arXiv预印本，不等于已经成为行业标准。其他团队还要用不同芯片和软件复现结果。研究重点是保存空间和生成速度，不是证明三值模型的回答质量更高。模型本身的质量仍取决于训练方法。

接下来观察什么

接下来要看其他厂商的芯片能否得到相同收益，主流推理软件是否会支持BITCOS，以及真实设备的耗电量是否会下降。如果三值LLM继续发展，怎样读取和搬运权重，可能和怎样训练模型一样重要。

来源：arXiv论文、Hacker News讨论。