AQL-Lite: Enabling Efficient Knowledge Acquisition for Arabic LLMs via Data-Centric Continual Pretraining

Computer Science > Computation and Language arXiv:2610.30344 (cs) [Submitted on 21 Oct 2026] Title: AQL-Lite: Enabling Efficient Knowledge Acquisition for Arabic LLMs via Data-Centric Continual Pretraining Authors: Houssam Eddine Boukhalfa, Mourad Bouache, Mourad Dahmane.

计算机科学 > 计算与语言 arXiv:2610.30344 (cs) [提交于 2026 年 10 月 21 日] 标题：AQL-Lite：通过以数据为中心的持续预训练实现阿拉伯语大语言模型的高效知识获取。作者：Houssam Eddine Boukhalfa, Mourad Bouache, Mourad Dahmane。

Abstract: Training Arabic large language models faces challenges from noisy web data, dialectal variation, and the high cost of continual pretraining (CPT). We introduce AQL-Lite (AQL: Arabic Quality Language), a time- and resource-efficient framework for adapting a multilingual LLM to Modern Standard Arabic (MSA).

摘要：训练阿拉伯语大语言模型面临着来自嘈杂的网络数据、方言差异以及持续预训练（CPT）高成本的挑战。我们引入了 AQL-Lite（AQL：阿拉伯语质量语言），这是一个旨在将多语言大语言模型适配到现代标准阿拉伯语（MSA）的时间和资源高效框架。

AQL-Lite couples a quality-first curation pipeline (structural cleaning, heuristic and model-based filtering, MSA selection, and deduplication) with a partial-parameter CPT recipe that trains RS-LoRA adapters across the network together with the last eight transformer blocks and the embedding matrix, under layer-wise learning rates.

AQL-Lite 将“质量优先”的整理流程（结构化清洗、启发式和基于模型的过滤、MSA 选择以及去重）与部分参数 CPT 配方相结合，该配方在分层学习率下，对网络中的 RS-LoRA 适配器以及最后八个 Transformer 模块和嵌入矩阵进行训练。

At a matched 1B-token budget, CPT on AQL-curated data raises a four-benchmark Arabic mean by 3.51 points over CPT on raw web text, which yields no gain over the base model. In a controlled 5B-token comparison, AQL-Lite recovers 94% of the gain of full-parameter CPT (mean 73.19 vs. 73.58) in 52% of the wall-clock time and outperforms adapter-only baselines on every benchmark, and a component ablation shows that adapters, unfrozen blocks, and embedding training each contribute.

在 10 亿 token 的匹配预算下，基于 AQL 整理数据进行的 CPT 比基于原始网络文本的 CPT（后者相对于基础模型没有提升）在四个阿拉伯语基准测试中的平均分提高了 3.51 分。在 50 亿 token 的对照比较中，AQL-Lite 在 52% 的实际运行时间内恢复了全参数 CPT 94% 的增益（平均分 73.19 对比 73.58），并在每个基准测试中均优于仅使用适配器的基线模型；组件消融实验表明，适配器、未冻结模块和嵌入训练均有贡献。

Scaled to 40B MSA tokens and instruction-tuned on one million examples, the resulting 12B model scores 75.3 on the seven-benchmark Open Arabic LLM Leaderboard v2 (OALL v2) suite. These results suggest that partial-parameter CPT on a carefully curated corpus is a practical route to efficient MSA adaptation.

扩展至 400 亿 MSA token 并在一万个示例上进行指令微调后，所得的 120 亿参数模型在七项基准测试的“开放阿拉伯语 LLM 排行榜 v2”（OALL v2）中得分 75.3。这些结果表明，在精心整理的语料库上进行部分参数 CPT 是实现高效 MSA 适配的实用途径。