本次查询：Rejection Sampling
中文解释：拒绝采样
常见场景：机器学习 / 概率统计 / 生成式AI
一句话解释
拒绝采样是一种通过简单分布生成候选样本、再按一定概率“接受”或“拒绝”这些样本，从而让最终样本服从目标分布的蒙特卡洛方法。
为什么会被关注
在AI和统计建模中，很多目标分布（如贝叶斯后验分布、复杂生成模型的隐变量分布）没有解析形式，无法直接采样。拒绝采样提供了一种理论正确、实现直观的采样途径，成为后续更高级采样方法（如MCMC）的基石。
近年来，随着生成式AI和强化学习的快速发展，拒绝采样被用于扩散模型的加速采样、大语言模型的对齐训练（如RLHF中的奖励模型采样）等场景，其效率优化问题也持续引发研究关注。
核心逻辑
核心思想分为三步：第一，选择一个易于采样的提议分布，并找出一个常数M使得目标分布密度始终小于等于M乘以提议分布密度（即包络条件）。第二，从提议分布中随机生成候选样本x，同时从均匀分布U(0,1)中生成阈值u。
第三，如果u小于目标分布密度与M·提议分布密度的比值，则接受x；否则拒绝并重复。最终所有被接受的样本构成了对目标分布的无偏采样。关键是要让提议分布尽可能贴近目标分布，以提高接受率。
常见场景
在贝叶斯统计中，当后验分布非常数或非标准时，可用拒绝采样从后验中生成样本用于参数估计。在生成式AI中，扩散模型的逆向过程有时会结合拒绝采样来改进采样质量，例如Denoising Diffusion Implicit Models中的改进方案。
在强化学习与人类反馈（RLHF）中，奖励模型给出的偏好分布难以直接采样，研究者常利用拒绝采样从策略模型生成的候选动作中筛选出高奖励样本，用于训练对齐。此外，在计算机图形学中，拒绝采样也被用于渲染中的重要性采样。
容易混淆的点
拒绝采样与重要性采样容易混淆：重要性采样通过加权修正而非接受/拒绝来逼近目标分布，不产生真实样本点，而拒绝采样生成的是真实服从目标分布的样本。另一个常见混淆是与吉布斯采样，后者是MCMC的一种，通过条件分布迭代采样，不依赖包络函数。
此外，拒绝采样中的M常数选择很关键：M过大会降低接受率导致效率极低；M过小会违反包络条件导致算法错误。实际应用中常需要自适应调整提议分布，这与自适应MCMC方法有相似之处但本质不同。