Understanding LoRA Rank Trade-offs in Diffusion Model Fine-Tuning
Understanding LoRA Rank Trade-offs in Diffusion Model Fine-Tuning
理解扩散模型微调中 LoRA 秩（Rank）的权衡
Abstract: Selecting LoRA rank for diffusion fine-tuning requires balancing quality and compute cost. We present a controlled study on CIFAR-10 using a DDPM U-Net with ranks {2,4,8,16,32}, fixed optimization settings, and a reproducible local-folder pytorch-fid protocol.
摘要： 在扩散模型微调中选择 LoRA 秩（Rank）时，需要在模型质量与计算成本之间进行权衡。我们针对 CIFAR-10 数据集进行了一项受控研究，使用了带有 {2, 4, 8, 16, 32} 不同秩的 DDPM U-Net，并采用了固定的优化设置以及可复现的本地文件夹 pytorch-fid 协议。
We report FID, trainable parameters, runtime, and GPU memory, then validate trends with extended-budget DDPM runs (20 epochs; ranks 4/8/16) and a Tiny DiT backbone (10 epochs; ranks 4/8/16).
我们报告了 FID（弗雷歇起始距离）、可训练参数量、运行时间和 GPU 显存占用情况，随后通过增加预算的 DDPM 运行（20 个 epoch；秩为 4/8/16）以及 Tiny DiT 主干网络（10 个 epoch；秩为 4/8/16）验证了这些趋势。
Results show moderate ranks are most efficient: rank 4 achieves the best DDPM FID (124.1380), rank 8 is close (124.2136), and higher ranks provide limited gains despite larger adaptation cost. These findings support small-to-moderate ranks as practical defaults under fixed training budgets.
结果表明，中等大小的秩效率最高：秩为 4 时达到了最佳的 DDPM FID（124.1380），秩为 8 的表现也非常接近（124.2136），而更高的秩虽然增加了适配成本，但带来的性能提升却十分有限。这些发现支持在固定训练预算下，将小到中等大小的秩作为实际应用中的默认选择。
Paper Details:
- Authors: Iman Khazrak, Narges Nejad, Mostafa M. Rezaee, Robert C. Green II
- arXiv ID: 2609.10656
- Subjects: Artificial Intelligence (cs.AI); Machine Learning (cs.LG)
论文详情：
- 作者： Iman Khazrak, Narges Nejad, Mostafa M. Rezaee, Robert C. Green II
- arXiv ID: 2609.10656
- 学科分类： 人工智能 (cs.AI)；机器学习 (cs.LG)