Embeddings Are Overpriced? A Frozen 16 MB Vocabulary for Small and Ternary Language Models

查看原文 / View Original 编辑 / Edit

Computer Science > Computation and Language arXiv:2610.22428 (cs) [Submitted on 15 Oct 2026] Title: Embeddings Are Overpriced? A Frozen 16 MB Vocabulary for Small and Ternary Language Models Authors: Sai Kiran Bathula.

计算机科学 > 计算与语言 arXiv:2610.22428 (cs) [提交于 2026 年 10 月 15 日] 标题：嵌入层定价过高？用于小型和三元语言模型的 16 MB 固定词汇表作者：Sai Kiran Bathula。

Abstract: In a small language model the vocabulary is the single largest part. In Gemma 3 270M the embedding table holds 168M of 268M parameters, and because quantisation methods leave the embedding in 16-bit, it is also most of the file once the rest of the model is compressed.

摘要：在小型语言模型中，词汇表是最大的单一组成部分。在 Gemma 3 270M 模型中，嵌入表占据了 268M 参数中的 168M，并且由于量化方法通常将嵌入层保留为 16 位，因此在模型其余部分被压缩后，它也占据了文件的大部分空间。

We ask what that table actually buys. We replace it with one frozen table of 512-bit codes, 16 MB, with no trainable parameters, derived once from a pretrained embedding by principal-component projection and sign binarisation, and we train the same Gemma-shaped body from scratch on the same 2.05B tokens with and without it.

我们探讨了该表实际带来的价值。我们用一个 16 MB 的 512 位代码固定表替换了它，该表没有可训练参数，是通过主成分投影和符号二值化从预训练嵌入中一次性导出的。我们使用相同架构的 Gemma 模型，在相同的 2.05B 个标记上，分别在有无该表的情况下从头开始训练。

The learned table buys 0.20 nats of validation loss for 2.6 times the trainable parameters, but on LAMBADA, HellaSwag and PIQA the frozen-table model is better or tied; only ARC-Easy favours the learned table.

学习型词汇表以 2.6 倍的可训练参数换取了 0.20 nats 的验证损失提升，但在 LAMBADA、HellaSwag 和 PIQA 测试中，固定表模型表现更好或持平；只有 ARC-Easy 测试更倾向于学习型词汇表。

With a ternary BitNet b1.58 body the whole model is a 46 MB file, still ties the float model on LAMBADA and PIQA, and on a laptop CPU generates 615 to 740 tokens per second in 62 MB of memory, five to six times the speed of the float model’s 8-bit GGUF in this http URL at a seventh of the memory.

在使用三元 BitNet b1.58 架构时，整个模型文件仅为 46 MB，在 LAMBADA 和 PIQA 上仍与浮点模型持平。在笔记本电脑 CPU 上，它能在 62 MB 内存中以每秒 615 到 740 个标记的速度生成内容，速度是浮点模型 8 位 GGUF 版本的五到六倍，且内存占用仅为后者的七分之一。

The frozen table wins by 1.7 to 2.3 nats on rare words, accepts 10,000 new words after training with a 3% cost where the learned table collapses by 43%, and all of it is released with the weights, the data and every evaluation answer.

固定表在罕见词汇上的表现领先 1.7 到 2.3 nats，在训练后以 3% 的成本代价即可接受 10,000 个新词，而学习型词汇表则会下降 43%。所有相关权重、数据及每项评估答案均已发布。