Soup CLI

Launching today 今天正式发布

Fine-tune an 8B LLM on a 4 GB laptop GPU 在 4 GB 显存的笔记本 GPU 上微调 8B 参数的大语言模型

LoRA keeps the base model frozen: read, never written. So Soup keeps it in system RAM and streams it into the GPU one decoder layer at a time. Peak VRAM becomes one layer instead of the whole model. LoRA 技术保持基础模型处于冻结状态：只读不写。因此，Soup 将模型保留在系统内存（RAM）中，并以每次一个解码器层（decoder layer）的方式将其流式传输到 GPU。这样，峰值显存占用就从整个模型缩减为仅占用一层模型的大小。

Measured on an RTX 3050 Laptop 4 GB: Llama-3.1-8B trains at 119.6 tok/s in 3.32 GB peak. 在 RTX 3050 笔记本（4 GB 显存）上的实测数据：Llama-3.1-8B 的训练速度为 119.6 tok/s，峰值显存占用为 3.32 GB。

One YAML, one command. SFT, DPO, GRPO, KTO, plus eval, gating and export. Apache-2.0. 只需一个 YAML 文件，一条命令即可运行。支持 SFT、DPO、GRPO、KTO，以及评估、门控和导出功能。采用 Apache-2.0 开源协议。

Every number is published, including the ones I measured and threw away. 所有数据均已公开，包括那些我测量后舍弃的数据。