LFM2.5 Q4_0 Checkpoints from Quantization-Aware Distillation

基于量化感知蒸馏（QAD）的 LFM2.5 Q4_0 检查点

Today, we release QAD Q4_0 GGUFs. These are updated 4-bit checkpoints for LFM2.5-230M, LFM2.5-350M, LFM2.5-1.2B-Instruct, and LFM2.5-2.6B. They allow developers to run LFM2.5 models at Q4_0 memory and speed without the usual quality drop: 今天，我们发布了 QAD Q4_0 GGUF 模型。这是针对 LFM2.5-230M、LFM2.5-350M、LFM2.5-1.2B-Instruct 和 LFM2.5-2.6B 更新的 4-bit 检查点。它们使开发者能够在保持 Q4_0 内存占用和速度的同时，运行 LFM2.5 模型，且不会出现通常的质量下降：

• Trained with Quantization-Aware Distillation (QAD): a high-precision teacher model is distilled into a quantized student model
• 通过量化感知蒸馏（QAD）训练： 将高精度教师模型蒸馏到量化后的学生模型中
• Same memory and speed as native Q4_0: They keep the low memory footprint and high throughput of Q4_0 GGUFs
• 与原生 Q4_0 相同的内存和速度： 保持了 Q4_0 GGUF 的低内存占用和高吞吐量
• Recovery: 97% of their BF16 average accuracy lost to quantization is recovered
• 恢复效果： 恢复了因量化而损失的 97% 的 BF16 平均准确率

Benchmark results

基准测试结果

For all four models, we compare their released GGUFs produced with post-training quantization (PTQ) against the trained QAD Q4_0 checkpoints on a benchmark suite spanning reasoning, instruction-following, tool use, and agentic capabilities: GPQA Diamond, MMLU-Pro, IFEval, IFBench, Multi-IF, and BFCLv4. The BF16 GGUF serves as the in-format ceiling. We also add one scale-appropriate math evaluation: GSM8K for LFM2.5-230M and LFM2.5-350M, and AIME25 for LFM2.5-1.2B-Instruct and LFM2.5-2.6B. We report the mean across five repeats. 针对这四款模型，我们将通过训练后量化（PTQ）生成的 GGUF 与训练好的 QAD Q4_0 检查点进行了对比，测试涵盖了推理、指令遵循、工具使用和智能体能力等基准套件：GPQA Diamond、MMLU-Pro、IFEval、IFBench、Multi-IF 和 BFCLv4。BF16 GGUF 作为格式内的性能上限。我们还增加了一项针对规模的数学评估：针对 LFM2.5-230M 和 LFM2.5-350M 使用 GSM8K，针对 LFM2.5-1.2B-Instruct 和 LFM2.5-2.6B 使用 AIME25。我们报告了五次重复测试的平均值。

Across all four models, QAD substantially improves the Q4_0 checkpoint. The QAD checkpoints retain 97.1%, 96.5%, 97.4%, and 96.6% of their respective BF16 baseline performance. 在所有四款模型中，QAD 都显著提升了 Q4_0 检查点的表现。QAD 检查点分别保留了其 BF16 基准性能的 97.1%、96.5%、97.4% 和 96.6%。

Speed and size on real edge hardware

真实边缘硬件上的速度与尺寸

We measure decode throughput for the four models LFM2.5-230M, LFM2.5-350M, LFM2.5-1.2B-Instruct, and LFM2.5-2.6B across four targets: MacBook Pro, NucBox EVO-X2, Samsung Galaxy S26 Ultra, and Raspberry Pi 5. MacBook Pro and NucBox use GPU inference, while Samsung and Raspberry Pi use Arm CPU inference. BF16 and F16 are shown as full-precision references where profiled. 我们测量了 LFM2.5-230M、LFM2.5-350M、LFM2.5-1.2B-Instruct 和 LFM2.5-2.6B 四款模型在四个目标设备上的解码吞吐量：MacBook Pro、NucBox EVO-X2、三星 Galaxy S26 Ultra 和树莓派 5。MacBook Pro 和 NucBox 使用 GPU 推理，而三星和树莓派使用 Arm CPU 推理。BF16 和 F16 作为全精度参考显示。

The 230M and 350M QAD Q4_0 checkpoints match Q5_K_M quality within evaluation variance at a 4-33% higher decode throughput. The 1.2B and 2.6B QAD Q4_0 checkpoints match Q4_K_M quality at a 3-14% higher throughput. The QAD Q4_0 checkpoints also match Unsloth’s UD-Q4_K_XL (where applicable, for the 230M and 1.2B), a strong external post-training quantization checkpoint. 230M 和 350M 的 QAD Q4_0 检查点在评估误差范围内达到了 Q5_K_M 的质量，且解码吞吐量提高了 4-33%。1.2B 和 2.6B 的 QAD Q4_0 检查点在吞吐量提高 3-14% 的情况下达到了 Q4_K_M 的质量。QAD Q4_0 检查点还与 Unsloth 的 UD-Q4_K_XL（适用于 230M 和 1.2B）相当，后者是一个强大的外部训练后量化检查点。

How to use QAD GGUFs

如何使用 QAD GGUF

Use the files with llama.cpp or any runtime that supports GGUF Q4_0 artifacts. 请使用 llama.cpp 或任何支持 GGUF Q4_0 格式的运行时来使用这些文件。

llama-cli -hf LiquidAI/LFM2.5-350M \
--hf-file LFM2.5-350M-QAD-Q4_0.gguf \
-p "What is C. elegans?"

Get Started with QAD GGUFs

开始使用 QAD GGUF

The QAD GGUFs are available on Hugging Face today: LFM2.5-230M, LFM2.5-350M, LFM2.5-1.2B-Instruct, and LFM2.5-2.6B. We can’t wait to see what you build. QAD GGUF 模型现已在 Hugging Face 上发布：LFM2.5-230M、LFM2.5-350M、LFM2.5-1.2B-Instruct 和 LFM2.5-2.6B。我们迫不及待地想看到你们的创作。