Recipes for Steering and Scaling LLMs via Sampling

通过采样引导与扩展大语言模型的方案

Abstract: Large Language Models (LLMs) are probabilistic models, typically defined by an autoregressive factorization. While recent work has begun to study richer target distributions beyond the base model, the sampling strategies remain highly inefficient.

摘要： 大语言模型（LLM）是概率模型，通常由自回归分解定义。尽管近期的研究已开始探索超越基础模型之外更丰富的目标分布，但目前的采样策略仍然效率低下。

In this paper, we present a flexible and theoretically grounded framework for steering and scaling autoregressive LLMs with sampling. Within this framework, we describe two algorithms — one based on Sequential Monte Carlo (SMC) and one based on Replica Exchange (RE) — that steer generation toward powering, product or tilting of the base model distribution.

在本文中，我们提出了一个灵活且具有理论基础的框架，用于通过采样来引导和扩展自回归大语言模型。在该框架内，我们描述了两种算法——一种基于序贯蒙特卡洛（SMC），另一种基于副本交换（RE）——它们能够将生成过程引导至基础模型分布的幂运算、乘积或倾斜分布。

We illustrate this framework through scaling the generation quality of LLMs without external supervision or reward models. Experimental results demonstrate our methods scale more favorably than Best-of-N and standard MCMC baselines. Overall, this paper offers a systematic recipe for probabilistic inference with LLMs via sampling.

我们通过在无需外部监督或奖励模型的情况下扩展大语言模型的生成质量，展示了该框架的有效性。实验结果表明，我们的方法在扩展性上优于 Best-of-N 和标准的 MCMC 基准方法。总而言之，本文为利用大语言模型进行概率推理提供了一套系统的采样方案。

---

Paper Details:

• Authors: Jiajun He, Zongyu Guo, José Miguel Hernández-Lobato, Yuanqi Du
• arXiv ID: 2608.26120
• Subjects: Computation and Language (cs.CL); Machine Learning (cs.LG)
• Submission Date: 19 Jun 2026

论文详情：

• 作者： Jiajun He, Zongyu Guo, José Miguel Hernández-Lobato, Yuanqi Du
• arXiv ID： 2608.26120
• 学科分类： 计算与语言 (cs.CL)；机器学习 (cs.LG)
• 提交日期： 2026年6月19日