TurboMamba: Faster Inference, Faster Training, and Better Prediction with Lexical Memory

查看原文 / View Original 编辑 / Edit

Computer Science > Machine Learning arXiv:2610.20682 (cs) [Submitted on 14 Oct 2026] Title: TurboMamba: Faster Inference, Faster Training, and Better Prediction with Lexical Memory Authors: Hanxin Zhang.

计算机科学 > 机器学习 arXiv:2610.20682 (cs) [提交于 2026 年 10 月 14 日] 标题：TurboMamba：通过词汇记忆实现更快的推理、更快的训练和更好的预测作者：Hanxin Zhang。

Abstract: We introduce TurboMamba, a language-model architecture for faster inference, faster training, and better token prediction. A global Mamba-3 model runs once per completed token block. A small Transformer uses this global context and earlier tokens within the block to predict the next token.

摘要：我们介绍了 TurboMamba，这是一种旨在实现更快推理、更快训练和更好标记预测的语言模型架构。全局 Mamba-3 模型在每个完成的标记块上运行一次。小型 Transformer 利用此全局上下文和块内的早期标记来预测下一个标记。

Three lightweight additions improve local predictions: direct access to the previous block’s last token, a small correction to next-token scores, and a learned mixture with recent-token frequencies. We compare twelve small-scale implementations on public FineWeb-Edu, with comparable parameter counts and shared training-budget caps.

三项轻量级改进提升了局部预测效果：直接访问前一个块的最后一个标记、对下一个标记分数的微小修正，以及与近期标记频率的习得混合。我们在公开的 FineWeb-Edu 数据集上比较了十二种小规模实现，这些实现具有相当的参数量和共享的训练预算上限。

The baselines include Transformer, Mamba-3, Jamba, and Zamba. The Jamba and Zamba versions use Mamba-3 in place of their original Mamba modules. TurboMamba achieves the lowest mean test prediction loss (negative log-likelihood, NLL) among all twelve models.

基准模型包括 Transformer、Mamba-3、Jamba 和 Zamba。Jamba 和 Zamba 版本使用 Mamba-3 替代了其原始的 Mamba 模块。TurboMamba 在所有十二个模型中实现了最低的平均测试预测损失（负对数似然，NLL）。

Its mean NLL is 9.4% lower than that of Mamba-3, 7.3% lower than that of the Jamba version, and 18.3% lower than that of the Zamba version. End-to-end training throughput is 2.60x that of Mamba-3, 2.81x that of the Jamba version, and 4.82x that of the Zamba version.

其平均 NLL 比 Mamba-3 低 9.4%，比 Jamba 版本低 7.3%，比 Zamba 版本低 18.3%。端到端训练吞吐量分别是 Mamba-3 的 2.60 倍、Jamba 版本的 2.81 倍和 Zamba 版本的 4.82 倍。

We measure end-to-end batch latency for a batch of 32 sequences, each with a 256-token prompt and 128 generated tokens. On this workload, TurboMamba achieves a 3.12x speedup over Mamba-3, a 3.53x speedup over the Jamba version, and a 6.21x speedup over the Zamba version.

我们测量了包含 32 个序列的批处理的端到端批处理延迟，每个序列具有 256 个标记的提示和 128 个生成的标记。在此工作负载下，TurboMamba 相比 Mamba-3 实现了 3.12 倍的加速，相比 Jamba 版本实现了 3.53 倍的加速，相比 Zamba 版本实现了 6.21 倍的加速。